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Introducción 


En el momento en que escribo esta primera parte del libro sobre redes neuronales, en los medios de comunicación se ha avivado un gran 
interés por la inteligencia artificial y uno de los temas más citados son las redes neuronales. El reconocimiento de imágenes, los 
automóviles autónomos o jugar partidas del juego Go venciendo a oponentes humanos expertos son noticia en la actualidad. 

He trabajado en el campo de la inteligencia artificial en el tema de algoritmos genéticos y especialmente en la regresión simbólica que es 
dar con la mejor función matemática que explique el comportamiento de una serie de datos. Ese interés me atrajo a las redes neuronales 
porque una aplicabilidad de estas, es precisamente encontrar un patrón en una serie de datos. 

Este libro es un inicio en este fascinante campo de las redes neuronales, desde el "hola mundo" que es entrenar una red (de una sola 
neurona) para que aprenda la tabla del OR y del AND, luego el perceptrón multicapa (capas de neuronas interconectadas) para aprender 
cosas más difíciles como la tabla del XOR, reconocimiento básico de caracteres y encontrar el patrón en una serie de datos usando el 
algoritmo de propagación hacia atrás conocido como "backpropagation". Se explica en detalle cómo se llegan a las fórmulas usadas por 
ese algoritmo. 

El conocimiento técnico requerido para entender los temas de este libro son algoritmos (variables, si condicional, ciclos, procedimientos, 
funciones), POO (programación orientada a objetos) y Visual C# (se hará uso del IDE de Microsoft Visual Studio 2015). Adicionalmente 
hay que estar familiarizado con una serie de conocimientos matemáticos necesarios como factorización, derivación, integración, buscar 
máximos y mínimos, y números aleatorios. 

Aunque el código en C# se encuentra en este documento, se le facilita al lector descargarlo en 
http://darwin.50webs.com/Espanol/Capit07.htm , que es el código de los últimos tres grandes ejemplos. 
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Iniciando 

Las redes neuronales son como los algoritmos: una caja negra en la cual hay una serie de entradas, la caja y una serie de salidas. 



co 

ru 

T3 

"a i 

LO 


Pero hay algo especial en esa caja que representa las redes neuronales: una serie de controles analógicos, algunos girando a la izquierda 
y otros girando a la derecha de tal modo que su giro afecta las salidas. 


En el ejemplo, supongamos que tenemos las siguientes entradas y salidas deseadas 



Entrada 1 

Entrada 2 

Entrada 3 

Entrada 4 

Salida 
deseada 1 

Salida 
deseada 2 

Ejemplo 1 

4 

5 

7 

8 

18 

32 

Ejemplo 2 

7 

2 

3 

6 

21 

54 

Ejemplo 3 

3 

7 

0 

1 

43 

19 


Significa que si entran los números 4, 5, 7, 8, (ejemplo 1), debe salir 18 y 32. Luego hay que ajustar esos controles analógicos 
(moviéndolos en favor o en contra de las manecillas del reloj) hasta que se obtenga esa salida. 



Una vez hecho eso, se prueba con las entradas 7, 2, 3, 6 y debe salir 21 y 54. En caso que no funcione con el segundo juego de entradas, 
se procede a girar de nuevo esos controles y volver a empezar (si, desde el inicio). Así hasta que ajuste con todos los ejemplos. En el 
caso de la tabla, con los tres conjuntos de entradas que deben dar con las salidas deseadas. 

En otras palabras, los 6 controles analógicos deben tener un giro tal, que hace cumplir toda la tabla (los tres ejemplos). El objetivo es dar 
con esos giros en particular. 




Esa es la posición buscada de 
cada control 


¿Y cómo dar con esos giros? Al iniciar, esos controles están girados al azar y poco a poco se van ajustando. Hay un 
procedimiento matemático que colabora mucho en este caso para así no ajustar a ciegas. Hay que aclarar que la caja tiene 6 
controles analógicos, pueden haber muchos más en otras implementaciones. 


Rafael Alberto Moreno Parra 


5 


































El "Hola Mundo" de las redes neuronales: El perceptrón simple 


Para dar inicio con las redes neuronales se parte de lo más simple: una neurona. Se le conoce como perceptrón simple. Se 
presenta así: 



Dos entradas, una salida y tres controles analógicos. ¿Para qué sirve? Es una demostración que un algoritmo puede aprender 
la tabla del AND y del OR. Esta es la tabla del AND 


Valor A 

Valor B 

Resultado (A AND B) 

Verdadero 

Verdadero 

Verdadero 

Verdadero 

Falso 

Falso 

Falso 

Verdadero 

Falso 

Falso 

Falso 

Falso 


Vamos a hacer que un perceptrón aprenda esa tabla, es decir, que si se ingresa en las entradas Verdadero y Falso, el 
algoritmo aprenda que debe mostrar en la salida el valor de Falso y así con toda la tabla. 


El primer paso es volver cuantitativa esa tabla 


Valor A 

Valor B 

Resultado (A AND B) 

1 

1 

1 

1 

0 

0 

0 

1 

0 

0 

0 

0 


Los datos de entrada y salida deben ser cuantitativos porque en el interior de esa caja hay fórmulas y procedimientos 
matemáticos. Luego para este ejemplo, 1 representa verdadero y 0 representa falso. 

¿Y ahora? Este es la caja por dentro 


Entrada 1 


Entrada2 



Salida 




Un control analógico por cada entrada y se le adiciona una entrada interna que se llama umbral y tiene el valor de 1 con su 
propio control analógico. Esos controles analógicos se llaman pesos. Ahora se le ponen nombres a cada parte. 
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El y E2 son las entradas 

Pl, P2 son los pesos de las entradas 

U es el peso del umbral 

S es la salida 

f( ) es la función que le da el valor a S 


Luego la salida se calcula así: 


S = f ( El * Pl + E2 * P2 + 1 * U ) 



Para entenderlo mejor, vamos a darle unos valores: 

El = 1 (verdadero) 

E2 = 1 (verdadero) 

Pl = 0.9812 (un valor real al azar) 

P2 = 3.7193 (un valor real al azar) 

U = 2.1415 (un valor real al azar) 

Entonces la salida sería: 

S = f ( El * Pl + E2 * P2 + 1 * P3 ) 

S = f ( 1 * 0.9812 + 1 * 3.7193 + 1 * 2.1415 ) 

S = f ( 6.842 ) 

¿Y que es f( )? una función que podría implementarse así: 


Función f (valor) 

Inicio 

Si valor > 0 entonces 
retorne 1 
de lo contrario 

retorne 0 

fin si 

Fin 


Continuando con el ejemplo entonces 

S = f ( 6.842 ) 

S = 1 

Y ese es el valor esperado. Los pesos funcionan para esas entradas. 
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¿Funcionarán esos pesos para las otras entradas? ¡Probemos! 

El = 1 (verdadero) 

E2 = 0 (falso) 

S = f ( El * P1 + E2 * P2 + 1 * P3 ) 

S = f ( 1 * 0.9812 + 0 * 3.7193 + 1 * 2.1415 ) 

S = f ( 3.1227 ) 

S = 1 

No, no funcionó, debería haber dado cero 



¿Y entonces? Habrá que utilizar otros valores para los pesos. Una forma es darle otros valores al azar. Ejecutar de nuevo el 
proceso, probar con todas las entradas hasta que finalmente de las salidas esperadas. 

Este sería la implementación en C# 
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using System; 
namespace Perceptron { 
class Program { 

static void Main (string[] args){ 

int [,] datos ={ { 1, 1, 1 }, { 1, 0, 0 }, { 0, 1, 0 }, { 0, 0, 0 } }; //Tabla de verdad AND 
Random azar = new Random(); 

double[] pesos = { azar . NextDouble (), azar . NextDouble (), azar . NextDouble () }; //Inicia los pesos al azar 

bool aprendiendo = true; 
int salidaEntera; 

while (aprendiendo){ //Hasta que aprenda la tabla AND 
aprendiendo = false; 

for (int cont = 0; cont <= 3 ; cont++){ 

double salidaReal = datos[cont, 0] * pesos[0] + datos [cont, 1 ] * pesos[l] + pesos [2]; //Calcula la salida real 
if (salidaRea 1>0) salidaEntera = 1; else salidaEntera = 0; //Transforma a valores 0 o 1 

if (salidaEntera != datos[cont, 2]) { //Si la salida no coincide con lo esperado, cambia los pesos al azar 
pesos [0] = azar . NextDouble () - azar . NextDouble (); 
pesos [1] = azar . NextDouble () - azar . NextDouble (); 
pesos [2] = azar . NextDouble () - azar . NextDouble (); 
aprendiendo = true; //Y sigue buscando 

} 

} 

} 

for (int cont =0; cont <= 3; cont++){ //Muestra el perceptron con la tabla AND aprendida 
double salidaReal = datos[cont, 0] * pesos[0] + datos[cont, 1] * pesos[l] + pesos[2]; 
if (salidaReal > 0) salidaEntera = 1; else salidaEntera =0; 

Consolé . WriteLine ( "Entradas: " + datos [cont,0]. ToString () + " y " + datos [cont, 1 ]. ToString () + " = " + 
datos [cont, 2 ]. ToString () + " perceptron: " + salidaEntera . ToString ()); 

} 

Consolé . ReadLine (); 

} 

} 

} 


La línea 

if (salidaReal>0) salidaEntera = 1; else salidaEntera = 0; 

Es la función f ( ). 

Si los pesos no funcionan entonces se obtienen otros al azar. Cabe anotar que los pesos son reales y pueden ser valores 
positivos o negativos. 

Ejecutando el programa se obtiene: 


■ file:///C:/Users/engin/onedrive/documentos/visual studio 2015/Projects/Perceptron/Perceptron/bin/Debug/Perceptron.EXE 


Entradas: 
Entradas: 
Entradas: 
Entradas: 


1 y 1 = 1 
1 y 0 = 0 
0 y 1 = 0 
0 y 0 = 0 


perceptron: 
perceptron: 
perceptron: 
perceptron: 


1 

0 

0 

0 


Se modifica el programa para que muestre los pesos y la cantidad de iteraciones que hizo 


Rafael Alberto Moreno Parra 


9 




using System; 
namsspace Perceptron { 
class Program { 

static void Main (string[] args){ 

int [,] datos ={ { 1, 1, 1 }, { 1, 0, 0 }, { 0, 1, 0 }, { 0, 0, 0 } }; //Tabla de verdad AND 
Random azar = new Random(); 

double[] pesos = { azar . NextDouble (), azar . NextDouble (), azar . NextDouble () }; //Inicia los pesos al azar 

bool aprendiendo = true; 

int salidaEntera , iteración = 0; 

while (aprendiendo){ //Hasta que aprenda la tabla AND 
iteracion++; 
aprendiendo = false; 

for (int cont =0; cont <= 3 ; cont++){ 

double salidaReal = datos[cont, 0] * pesos[0] + datos [cont,1] * pesos[l] + pesos [2]; //Calcula la salida real 
if (salidaReal>0) salidaEntera =1; else salidaEntera =0; //Transforma a valores 0 o 1 

if (salidaEntera != datos [cont, 2]) { //Si la salida no coincide con lo esperado, cambia los pesos al azar 

pesos[0] = azar . NextDouble () - azar . NextDouble (); 
pesos[l] = azar . NextDouble () - azar . NextDouble (); 
pesos[2] = azar . NextDouble () - azar . NextDouble (); 
aprendiendo = true; //Y sigue buscando 

} 

} 

} 

Consolé . WriteLine (' Iteraciones: " + iteración . ToString ()); 

Consolé . WriteLine (' Peso 1: " + pesos [0]. ToString ()); 

Consolé . WriteLine (' Peso 2: " + pesos [1]. ToString ()); 

Consolé.WriteLine ( 'Peso 3: " + pesos [2] . ToString ()) ; 

for (int cont = 0; cont <= 3; cont++){ //Muestra el perceptron con la tabla AND aprendida 
double salidaReal = datos[cont, 0] * pesos[0] + datos[cont, 1] * pesos[l] + pesos[2]; 
if (salidaReal > 0) salidaEntera =1; else salidaEntera = 0; 

Consolé . WriteLine ( Entradas: " + datos [cont, 0 ]. ToString () + " y " + datos [cont,1]. ToString () + " + 

datos [cont,2]. ToString () + " perceptron: " + salidaEntera . ToString ()); 

} 

Consolé . ReadLine () ; 

} 

} 

} 


Este es el resultado. Nota: Peso 3 es el peso del umbral 

file:///C:/Users/engin/onedrive/documentos/visual studio 2015/Projects/Perceptron/Perceptron/bin/Debug/Perceptron.EXE 

Iteraciones: 6 
Peso 1: 0,0490536201042373 
Peso 2: 0,385779543493772 
Peso 3: -0,416483992438989 
Entradas: 1 y 1 = 1 perceptron: 1 

Entradas: 1 y 0 = 0 perceptron: 0 

Entradas: 0 y 1 = 0 perceptron: 0 

Entradas: 0 y 0 = 0 perceptron: 0 

Y volviendo a ejecutar 

■ file///C:/Users/engin/onedrive/documentos/visual studio 2015/Projects/Perceptron/Perceptron/bin/Debug/Perceptron.EXE 

Iteraciones: 29 
Peso 1: 0,594828198009556 
Peso 2: 0,277698465752275 
Peso 3: -0,762235941254644 
Entradas: 1 y 1 = 1 perceptron: 1 

Entradas: 1 y 0 = 0 perceptron: 0 

Entradas: 0 y 1 = 0 perceptron: 0 

Entradas: 0 y 0 = 0 perceptron: 0 


Observamos que los pesos no es una respuesta única, pueden ser distintos y son números reales (en C# se implementaron de 
tipo double), esa es la razón por la que se llama en este libro controles análogos. También observamos que en una ejecución 
requirió sólo 6 iteraciones y en la siguiente ejecución requirió 29 iteraciones. El cambio de pesos sucede en estas líneas: 


pesos [0 ] 

= azar . NextDouble () 

- azar . NextDouble (); 

pesos [1] 

= azar . NextDouble () 

- azar . NextDouble () ; 

pesos [2] 

= azar . NextDouble () 

- azar . NextDouble (); 


En caso de que no funcionasen los pesos, el programa simplemente los cambiaba al azar en un valor que oscila entre -1 y 1. 
Eso puede ser muy ineficiente y riesgoso porque limita los valores a estar entre -1 y 1 ¿Y si los pesos requieren valores mucho 
más altos o más bajos? 

Afortunadamente, hay un método matemático que minimiza el uso del azar y puede dar con valores de los pesos en cualquier 
rango. ¿Cómo funciona? Al principio los pesos tienen un valor al azar, pero de allí en adelante el cálculo de esos pesos se basa 
en comparar la salida esperada con la salida obtenida, si difieren, ese error sirve para ir cuadrando poco a poco los pesos. 
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Fórmula de Frank Rosenblatt 

En vez de cambiar los pesos en forma aleatoria, se hace uso de una serle de fórmulas matemáticas. 

Error = Salida Esperada - Salida Real 
Si Error es diferente de cero entonces 

Nuevo Peso (para entrada 1) = Peso anterior (para entrada 1) + tasa aprende * Error * Entrada 1 

Nuevo Peso (para entrada 2) = Peso anterior (para entrada 2) + tasa aprende * Error * Entrada 2 

Nuevo Peso (para umbral) = Peso anterior (de la entrada del umbral) + tasa aprende * Error * 1 

Fin Si 

Tasa aprende es un valor constante de tipo real y de valor entre 0 y 1 (sin tomar el 0, ni el 1) 

Este es el código en C# 


using System; 
namsspace Perceptron2 { 
public class Program { 

public static void Main (String[] args){ 

int [,] tabla ={ { 1, 1, 1 }, { 1, 0, 0 }, { 0, 1, 0 }, { 0, 0, 0 } }; //Tabla de verdad AND; { xl, x2, salida } 
Random azar = new Random(); 

double[] pesos = { azar . NextDouble (), azar . NextDouble (), azar . NextDouble () }; //Inicia los pesos al azar 

bool aprendiendo = true; 

int salidaEntera , iteración = 0; 

double tasaAprende = 0.3; 

while (aprendiendo) { //Hasta que aprenda la tabla AND 
iteracion++; 
aprendiendo = false; 

for (int cont =0; cont <= 3; cont++) { 

double salidaReal = tabla[cont, 0] * pesos[0] + tabla[cont, 1] * pesos[l] + pesos[2]; //Calcula la salida real 
if (salidaReal > 0) salidaEntera = 1; else salidaEntera = 0; //Transforma a valores 0 o 1 
int error = tabla[cont, 2] - salidaEntera; 

if (error != 0){ //Si la salida no coincide con lo esperado, cambia los pesos con la fórmula de Frank Rosenblatt 
pesos[0] += tasaAprende * error * tabla[cont, 0] ; 

pesos[l] += tasaAprende * error * tabla[cont, 1]; 

pesos [2] += tasaAprende * error * 1; 

aprendiendo = true; //Y sigue buscando 

} 

} 


Consolé . WriteLine ( Iteraciones: " + iteración . ToString ()); 

Consolé . WriteLine ( Peso 1: + pesos [0] . ToString ()) ; 

Consolé . WriteLine ( Peso 2: ' + pesos [1]. ToString ()); 

Consolé . WriteLine ( Peso 3: " + pesos [2]. ToString ()); 

for (int cont = 0; cont <= 3; cont++){ //Muestra el perceptron con la tabla AND aprendida 
double salidaReal = tabla[cont, 0] * pesos[0] + tabla[cont, 1] * pesos[l] + pesos[2]; 
if (salidaReal > 0) salidaEntera = 1; else salidaEntera = 0; 

Consolé . WriteLine (tabla[cont, 0] + " y " + tabla[cont, 1] + 1 " + tabla[cont, 2] + " perceptron: " + 

salidaEntera) ; 

} 

Consolé . ReadKey (); 

} 

} 

} 


Así ejecuta el programa 


■ file///C:/Users/engin/onedr¡ve/documentos/v¡sual studio 2015/Projects/Perceptron2/Perceptron2/b¡n/Debug/Perceptron2.EXE 

Iteraciones: 8 
Peso 1: 0,543821145614526 
Peso 2: 0,840766710201635 
Peso 3: -1,09279940998778 
1 y 1 = 1 perceptron: 1 
1 y 0 = 0 perceptron: 0 
0 y 1 = 0 perceptron: 0 
0 y 0 = 0 perceptron: 0 


Una vez más se ejecuta 


■ file///C:/Users/engin/onedr¡ve/documentos/v¡sual studio 2015/Projects/Perceptron2/Perceptron2/bin/Debug/Perceptron2.EXE 

Iteraciones: 2 
Peso 1: 0,256831110993787 
Peso 2: 0,349154528812112 
Peso 3: -0,399396705720293 
1 y 1 = 1 perceptron: 1 
1 y 0 = 0 perceptron: 0 
0 y 1 = 0 perceptron: 0 
0 y 0 = 0 perceptron: 0 

Y ese es el aprendizaje, un ajuste de pesos o constantes a una serle de ecuaciones hasta dar con las salidas requeridas para 
todas las entradas. 
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¿Y si se varían los valores que representan el verdadero y falso? ¿Variar la función? 

Podríamos discutir que fue conveniente haber puesto "0" a falso y "1" a verdadero, ¿se podrían otros valores? Es cuestión de 
probar 


Valor A 

Valor B 

Resultado (A AND B) 














El código sólo varía así: 


using System; 
namespace Perceptron2 { 
public class Program { 

public static void Main(String[] args){ 

int[,] tabla = { { 5, 5, 5 }, { 5, -3, -3 }, { -3, 5, -3 }, { -3, -3, -3 } }; //Tabla de verdad AND: { xl, x2, salida } 
Random azar = new Random(); 

double[] pesos = { azar .NextDoubleQ, azar .NextDoubleQ, azar.NextDouble() }; //Inicia los pesos al azar 

bool aprendiendo = true; 

int salidaEntera, iteración = 0; 

double tasaAprende = 0.3; 

while (aprendiendo) { //Hasta que aprenda la tabla AND 
iteracion++; 
aprendiendo = false; 

for (int cont = 0; cont <= 3; cont++) { 

double salidaReal = tabla[cont, 0] * pesos[0] + tabla[cont, 1] * pesos[l] + pesos[2]; //Calcula la salida real 
if (salidaReal > 0) salidaEntera = 5; else salidaEntera = -3; //Transforma a valores 5 o -3 
int error = tabla[cont, 2] - salidaEntera; 

if (error != 0){ //Si la salida no coincide con lo esperado, cambia los pesos con la fórmula de Frank Rosenblatt 
pesos[0] += tasaAprende * error * tabla[cont, 0]; 

pesos[l] += tasaAprende * error * tabla[cont, 1]; 

pesos[2] += tasaAprende * error * 1; 

aprendiendo = true; //Y sigue buscando 

} 

} 

} 

Consolé .WriteLine( "Iteraciones: " + iteración.ToStringQ); 

Consolé .WriteLine( "Peso 1: " + pesos[0].ToStringQ); 

Consolé .WriteLine( "Peso 2: " + pesos[l].ToStringQ); 

Consolé .WriteLine( "Peso 3: " + pesos[2].ToStringQ); 

for (int cont = 0; cont <= 3; cont++){ //Muestra el perceptron con la tabla AND aprendida 
double salidaReal = tabla[cont, 0] * pesos[0] + tabla[cont, 1] * pesos[l] + pesos[2]; 
if (salidaReal > 0) salidaEntera = 5; else salidaEntera = -3; 

Consolé. WriteLine(tabla[cont, 0] + " y " + tabla[cont, 1] + " = " + tabla[cont, 2] + " perceptron: " + salidaEntera); 

} 

Consolé .ReadKey(); 

} 

} 

} 


Al ejecutar 


■ file///C:/Users/engin/onedrive/documentos/visual studio 2015/Projects/Perceptron2/Perceptron2/bin/Debug/Perceptron2.EXE 

Iteraciones: 3 
Peso 1: 2,45695001038581 
Peso 2: 2,77383257102865 
Peso 3: -7,02539789696475 
5 y 5 = 5 perceptron: 5 
5 y -3 = -3 perceptron: -3 
-3 y 5 = -3 perceptron: -3 
-3 y -3 = -3 perceptron: -3 


El resultado es el mismo, el perceptron aprende. 

¿Y cambiar la función? En este caso en particular, el resultado sólo es uno de dos posibles valores, luego el cambio sería por el 
sí condicional que compare con otro valor 

if (salidaReal > 1) salidaEntera = 5; else salidaEntera = -3; //Transforma a valores 5 o -3 

Se obtiene un resultado de aprendizaje correcto 


■ file///C:/Users/engin/onedr¡ve/documentos/visual studio 2015/Projects/Perceptron2/Perceptron2' r b¡n/Debug/Perceptron2.EXE 

Iteraciones: 2 
Peso 1: 3,07136371958599 
Peso 2: 3,07284173270354 
Peso 3: -6,30233852830824 
5 y 5 = 5 perceptron: 5 
5 y -3 = -3 perceptron: -3 
-3 y 5 = -3 perceptron: -3 
-3 y -3 = -3 perceptron: -3 
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Perceptrón simple: Aprendiendo la tabla del OR 


El ejemplo anterior el perceptrón simple aprendía la tabla AND, ¿y con la OR? 


Valor A 

Valor B 

Resultado (A OR B) 

Verdadero 

Verdadero 

Verdadero 

Verdadero 

Falso 

Verdadero 

Falso 

Verdadero 

Verdadero 

Falso 

Falso 

Falso 


Vamos a hacer que el perceptrón aprenda esa tabla, es decir, que si se ingresa en las entradas Verdadero y Falso, el 
perceptrón aprenda que debe mostrar en la salida el valor de Falso y así con toda la tabla. 


El primer paso es volver cuantitativa esa tabla 


Valor A 

Valor B 

Resultado (A OR B) 

1 

1 

1 

1 

0 

1 

0 

1 

1 

0 

0 

0 


Es sólo cambiar esta línea del programa 

int [,] tabla ={ { 1, 1, 1 }, { 1, 0, 0 }, { 0, 1, 0 }, { 0, 0, 0 } }; //Tabla de verdad AND: { xl, x2, salida } 

por esta 

int [,] tabla = { { 1 , 1 , 1 }, { 1 , 0 , 1 }, { 0 , 1 , 1 }, { 0 , 0 , 0 } }; //Tabla de verdad OR: { xl, x2, salida } 

Y volver a ejecutar la aplicación 


f¡le///C:/Users/engin/onedrive/documentos/visual studio 2015/Projects/Perceptron2/Perceptron2/bin/Debug/Perceptron2.EXE 

Iteraciones: 3 
Peso 1: 0,627607005009245 
Peso 2: 0,547981312287963 
Peso 3: -0,260314471768362 
1 y 1 = 1 perceptrón: 1 
1 y 0 = 1 perceptrón: 1 
0 y 1 = 1 perceptrón: 1 
0 y 0 = 0 perceptrón: 0 
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Límites del Perceptrón Simple 


El perceptrón simple tiene un límite: que sólo sirve cuando la solución se puede separar con una recta. Se explica a 
continuación 

(0, 1) Tabla del AND: Linealmente separable (1, 1) 



En cambio, si se quiere abordar un problema que requiera dos separaciones, no lo podría hacer el perceptrón simple. El 
ejemplo clásico es la tabla XOR 


Valor A 

Valor B 

Resultado (A XOR B) 

Verdadero 

Verdadero 

Falso 

Verdadero 

Falso 

Verdadero 

Falso 

Verdadero 

Verdadero 

Falso 

Falso 

Falso 


Cuantitativa esa tabla 


Valor A 

Valor B 

Resultado (A XOR B) 

1 

1 

0 

1 

0 

1 

0 

1 

1 

0 

0 

0 


(0, 1) Tabla del XOR: No es linealmente separable (1, 1) 
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¿Y qué se puede hacer allí? 

Se necesita entonces varias neuronas más y puestas en capas. 


Capa de entrada 


Capa oculta 


Capa de salida 



O así 


Capa de entrada Capa oculta 


Capa de salida 



► C 


Varios controles analógicos o pesos, el reto es cómo dar con el peso correcto para cada control. Hay entonces un estudio 
matemático para ello. 
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Encontrando el mínimo en una ecuación 


Empecemos con la base matemática que nos ayudará a deducir los pesos en una red neuronal. 

Para dar con el mínimo de una ecuación se hace uso de las derivadas. Un ejemplo: tenemos la ecuación 

y = 5 * X 2 — 7 * X — 13 

Este sería su gráfico 
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Si queremos dar con el valor de x para que y sea el mínimo valor, el primer paso es derivar 

y' = 2 * 5 * x — 7 


Luego esa derivada se iguala a cero 


0 = 2*5*x — 7 


Se resuelve el valor de x 


0 = 10 * x — 7 


x = 7/10 
x = 0.7 


Y tenemos el valor de x con el que se obtiene el mínimo valor de y 

y — 5 * x 2 — 7 * x — 13 
y = 5 * 0.7 2 — 7 * 0.7 — 13 


y = -15.45 


En este caso fue fácil dar con la derivada, porque fue un polinomio de grado 2, el problema sucede cuando la ecuación es 
compleja, derivarla se torna un desafío y despejar x sea muy complicado. 

Otra forma de dar con el mínimo es iniciar con algún punto x al azar, por ejemplo, x = 1.0 


Valor de X 

y — 5 * x 2 — 7 * x — 13 

1.0 

-15 


Bien, ahora nos desplazamos, tanto a la izquierda como a la derecha de 0.5 en 0.5, es decir, x=0.5 y x=1.5 


Valor de X 

y — 5 * x 2 — 7 * x — 13 

0.5 

-15.25 

1.0 

-15 

1.5 

-12,25 


Ya tenemos un nuevo valor de X más prometedor que es 0.5, luego se repite el procedimiento, izquierda y derecha, es decir, 
x=0.0 y x=1.0 
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Valor de X 

y = 5 * x 2 — 7 * x — 13 

0.0 

-13 

0.5 

-15.25 

1.0 

-15 


El valor de 0.5 se mantiene como el mejor, luego se hace Izquierda y derecha a un paso menor de 0.25 


Valor de X 

y — 5 * x 2 — 7 * x — 13 

0.25 

-14,4375 

0.50 

-15.25 

0.75 

-15.4375 


El valor de x=0.75 es el que muestra mejor comportamiento, luego se hace izquierda y derecha a un paso de 0.25 


Valor de X 

y — 5 * x 2 — 7 * x — 13 

0.50 

-15.25 

0.75 

-15.4375 

1.00 

-15 


Sigue x=0.75 como mejor valor, luego se prueba a izquierda y derecha pero en una variación menor de 0.125 


Valor de X 

y — 5 * x 2 — 7 * x — 13 

0.625 

-15.421875 

0.75 

-15.4375 

0.875 

-15.296875 


Sigue x=0.75 como mejor valor, luego se prueba a izquierda y derecha pero en una variación menor de 0.0625 


Valor de X 

y — 5 * x 2 — 7 * x — 13 

0.6875 

-15.4492188 

0.75 

-15.4375 

0.8125 

-15.3867188 


Ahora es x=0.6875 como mejor valor, luego se prueba a izquierda y derecha en una variación de 0.0625 


Valor de X 

y — 5 * x 2 — 7 * x — 13 

0.625 

-15.421875 

0.6875 

-15.4492188 

0,75 

-15.4375 


Sigue x=0.6875 como mejor valor, luego se prueba a izquierda y derecha pero en una variación menor de 0.03125 


Valor de X 

y — 5 * x 2 — 7 * x — 13 

0.65625 

-15.4404297 

0.6875 

-15.4492188 

0,71875 

-15.4482422 


Sigue x=0.6875 como mejor valor, luego se prueba a izquierda y derecha pero en una variación menor de 0.015625 


Valor de X 

y — 5 * x 2 — 7 * x — 13 

0.671875 

-15.4460449 

0.6875 

-15.4492188 

0,703125 

-15.4499512 


Ahora es x=0,703125 como mejor valor. Como podemos observar, ese método se aproxima a x=0.7 que es el resultado que 
se dedujo con las derivadas. 

Otra forma de hacerlo es con el siguiente algoritmo implementado en C# 
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using System; 

namespace Mínimo { 
class Program { 

static void Main(string[] args) 

{ 

double x = 1; //valor inicial 
double Yini = Ecuacion(x); 
double variación = 1; 

while (Math .Abs(variacion) > 0.00001) 

{ 

double Ysigue = Ecuacion(x+variacion); 

if (Ysigue > Yini){ //Si no disminuye, cambia de dirección a un paso menor 
variación *= -1; 
variación /= 10; 

} 

else { 

Yini = Ysigue; //Disminuye 
x += variación; 

Consolé. WriteLine("x: " + x.ToStringQ + " Yini:" + Yini.ToStringQ); 

} 

} 

Consolé .WriteLine( "Respuesta: " + x.ToStringQ); 

Consolé .ReadKey(); 

} 

static double Ecuacion(double x) { 
return 5*x*x-7*x- 13; 

} 

} 

} 


Y así ejecuta 


- f¡le///C:/Users/eng¡n/OneDr¡ve/Documentos/V¡sual Studio 2015/Projects/' 

x: 0,9 Yini:-15,25 
x: 0,8 Yini:-15,4 
x: 0,7 Yini:-15,45 
Respuesta: 0,7 


Y cambiando el valor inicial de x a un valor x=1.13 por ejemplo, esto pasaría: 


■ f¡le///C:/Users/engin/OneDrive/Document 

x: 1,03 Yini:-14,9055 
x: 0,93 Yini:-15,1855 
x: 0,83 Yini:-15,3655 
x: 0,73 Yini:-15,4455 
x: 0,729 Yini:-15,445795 
x: 0,728 Yini:-15,44608 
x: 0,727 Yini:-15,446355 
x: 0,726 Yini:-15,44662 
x: 0,725 Yini:-15,446875 
x: 0,724 Yini:-15,44712 
x: 0,723 Yini:-15,447355 
x: 0,722 Yini:-15,44758 
x: 0,721 Yini:-15,447795 
x: 0,72 Yini:-15,448 
x: 0,719 Yini:-15,448195 
x: 0,718 Yini:-15,44838 
x: 0,717 Yini:-15,448555 
x: 0,716 Yini:-15,44872 
x: 0,715 Yini:-15,448875 
x: 0,714 Yini:-15,44902 
x: 0,713 Yini:-15,449155 
x: 0,712 Yini:-15,44928 
x: 0,711 Yini:-15,449395 
x: 0,71 Yini:-15,4495 
x: 0,709 Yini:-15,449595 
x: 0,708 Yini:-15,44968 
x: 0,707 Yini:-15,449755 
x: 0,706 Yini:-15,44982 
x: 0,705 Yini:-15,449875 
x: 0,704 Yini:-15,44992 
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Descenso del gradiente 

Anteriormente vimos, con las aproximaciones, como buscar el mínimo valor de Y modificando el valor de X, ya sea yendo por 
la izquierda (disminuyendo) o por la derecha (aumentando). Matemáticamente para saber en qué dirección ir, es con esta 
expresión: 



¿Qué significa? Que x debe modificarse en contra de la derivada de la ecuación. 

¿Por qué? La derivada nos muestra la tangente que pasa por el punto que se seleccionó al azar al inicio. Esa tangente es una 
línea recta y como toda línea recta tiene una pendiente. Si la pendiente es positiva entonces X se debe ir hacia la izquierda (el 
valor de X debe disminuir), en cambio, si la pendiente es negativa entonces X debe ir hacia la derecha (el valor de X debe 
aumentar). Con esa indicación ya sabemos por dónde ir para dar con el valor de X que obtiene el mínimo Y. 



Para dar con el nuevo valor de X esta sería la expresión: 

%nuevo 


~ %anterior 


+ Ax 


Reemplazando 


Simplificando 


X 


nuevo x anterior y 


x nuevo x anterior y 


Con la ecuación anterior 


X inicia en 1, luego 


EJEMPLO 

y = 5 * x 2 - 7 * x — 13 
y' = 10 * x — 7 

x nuevo ~ x anterior ~ y 


X 


nuevo 


~ %anterior (10 * X 7) 


¿Y esa x? Por supuesto que es la anterior porque estamos variando 
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x nuevo 


= X 


anterior 


— (10 * x 


anterior 



%nuevo 1 (10 * 1 7) 


x nuevo 


-2 


Ahora hay un nuevo valor para X que es -2. En la siguiente tabla se muestra como progresa X 


X anterior 

Valor Y 

X nuevo 

1 

-15 

-2 

-2 

21 

25 

25 

2937 

-218 

-218 

239133 

1969 

1969 

19371009 

-17714 

-17714 

1569052965 

159433 

159433 

1,2709E+11 

-1434890 


El valor de X se dispara, se vuelve extremo hacía la izquierda o derecha. Podríamos concluir que el método falla 
estrepitosamente. No tan rápido, se puede arreglar y es agregando una constante a la ecuación 

x nuevo — x anterior — y 


Se agrega entonces un a que es una constante muy pequeña, por ejemplo a=0,05 y esto es lo que sucede 


x nuevo 


x anterior 


0,05 * (10 * Xanterior 



X anterior 

Valor Y 

X nuevo 

1 

-15 

0,85 

0,85 

-15,3375 

0,775 

0,775 

-15,421875 

0,7375 

0,7375 

-15,4429688 

0,71875 

0,71875 

-15,4482422 

0,709375 

0,709375 

-15,4495605 

0,7046875 

0,7046875 

-15,4498901 

0,70234375 


Tiene más sentido y se acerca a X=0.7 que es la respuesta correcta. 

Este método se le conoce como el descenso del gradiente que se expresa así 

) 

En formato clásico matemático 

%n +1 x n f O^n) 


X 


nuevo 


x anterior °^* f 0^ anterior 


Rafael Alberto Moreno Parra 


20 




A tener en cuenta en la búsqueda de mínimos 


La siguiente curva es generada por el siguiente polinomio 

y — 0.1 * x 6 + 0.6 * x 5 — 0.7 * x 4 — 6 * x 3 + 2 * x 2 + 2 * x + 1 



Se aprecian dos puntos donde claramente la curva desciende y vuelve a ascender (se han marcado con puntos en rojo), por 
supuesto, el segundo a la derecha es el mínimo real, pero, ¿Qué pasaría si se hubiese hecho una búsqueda iniciando en x=-4? 
La respuesta es que el algoritmo se hubiese decantado por el mínimo de la izquierda. Veamos: 

x nuevo ~ x anterior ~y 

x nuevo ~ ^anterior ~ 0,01 * (0.6 * X 5 + 3 * X 4 - 2.8 * X 3 - 18 * X 2 + 4 * X + 2) 


Xanterior 

Y 

Xnuevo 

-4 

25 

-4,308 

-4,308 

17,0485 

-4,4838 

-4,4838 

15,3935 

-4,4815 

-4,4815 

15,3933 

-4,4822 

-4,4822 

15,3933 

-4,482 

-4,482 

15,3933 

-4,482 


Este problema se le conoce como caer en mínimo local y también lo sufren los algoritmos genéticos. Así que se deben probar 
otros valores de X para iniciar, si fuese X=2 observamos que si acierta con el mínimo real 


Xanterior 

Y 

Xnuevo 

2 

-20,6 

2,172 

2,172 

-22,777 

2,24349 

2,24349 

-23,08 

2,25489 

2,25489 

-23,087 

2,25559 

2,25559 

-23,087 

2,25562 

2,25562 

-23,087 

2,25563 

2,25563 

-23,087 

2,25563 


Fue fácil darse cuenta donde está el mínimo real viendo la gráfica, pero el problema estará vigente cuando no sea fácil 
generar el gráfico o peor aún, cuando no sea una sola variable independiente f(x) sino varias, como funciones del tipo 
f(a,b,c,d,e) 
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Búsqueda de mínimos y redes neuronales 


En la figura, hay dos entradas: A y B, y una salida: C, todo eso son constantes porque son los datos de entrenamiento, no 
tenemos control sobre estos. Lo que si podemos variar, son los controles análogos. Si queremos saber que tanto debe ajustar 
cada control análogo, el procedimiento matemático de obtener mínimos, se enfoca solamente en esos controles. 


Capa de entrada 


Capa oculta 


Capa de salida 



C 


En la figura se aprecian 7 controles o variables: a,b,c,d,e,g,h. ¿Cómo obtener un mínimo? En ese caso se utilizan derivadas 
parciales, es decir, se deriva por'a' dejando el resto como constantes, luego por'b' dejando el resto constantes y así 
sucesivamente. Esos mínimos servirán para ir ajustando los controles. 
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Perceptrón Multicapa 

Es un tipo de red neuronal en donde hay varias capas: 


1. Capa de entrada 

2. Capas ocultas 

3. Capa de salida 


En la siguiente figura se muestra un ejemplo de perceptrón multicapa, los círculos representan las neuronas. Tiene dos capas 
ocultas. La capa de entrada con 4 neuronas, las capas ocultas donde cada una tiene 3 neuronas y la capa de salida con 2 
neuronas. 


Entradal 


Entrada2 


Entrada3 


Entrada4 



Salida 1 


Salida 2 


Capa de 
entrada 


Capas ocultas 


Capa de 
salida 


► 

► 


Las capas se denotarán con la letra 'N', luego 
Ni=4 (capa 1, que es la de entrada, tiene 4 neuronas) 
N2=3 (capa 2, que es oculta, tiene 3 neuronas) 
l\b=3 (capa 3, que es oculta, tiene 3 neuronas) 

N4=2 (capa 4, que es la de salida, tiene 2 neuronas) 


Rafael Alberto Moreno Parra 


23 



















Las conexiones entre capas del perceptrón multicapa 


En el perceptrón multicapa, las neuronas de la capa 1 se conectan con las neuronas de la capa 2, las neuronas de la capa 2 
con las neuronas de la capa 3 y así sucesivamente. No está permitido conectar neuronas de la capa 1 con las neuronas de la 
capa 4 por ejemplo, ese salto podrá suceder en otro tipo de redes neuronales pero no en el perceptrón multicapa. 


Entrada 1 


Entrada2 


Entrada3 


Entrada4 


l 

i 


i 

i 

i 



Capa de i Capas ocultas i ^ a P a 

entrada salida 


Salida 1 


Salida 2 


► 

► 


En la capa de entrada no hay procesamiento de la información, tan solo la recepción de los valores de entrada. 
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Las neuronas 


De nuevo se muestra un esquema de cómo es una neurona con dos entradas externas y su salida. 



Salida 



Mostrado como una clase en C#, esta sería su ¡mplementaclón: 

namespace RedesNeuronales { 
class Neurona { 

public double calculaSalida(double El, double E2) 

{ 

double S; 

//Se hace una operación aquí 
return S; 

} 

} 

class Program { 

static void Main(string[ ] args) 

{ 

Neurona algunaCapasOcultas = new Neurona(); 
Neurona algunaCapaSalida = new Neurona(); 

} 

} 

} 


En cada entrada hay un peso P1 y P2. Para la entrada Interna, que siempre es 1, el peso se llama U 
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namespace RedesNeuronales { 
class Neurona { 

//Pesos para cada entrada P1 y P2; y el peso de la entrada interna U 
prívate double Pl; 
private double P2; 
private double U; 

public double calculaSalida(double El, double E2) 

{ 

double S; 

//Se hace una operación aquí 
return S; 

} 

} 

class Program { 

static void Main(string[ ] args) 

{ 

Neurona algunaCapasOcultas = new Neurona(); 

Neurona algunaCapaSalida = new NeuronaQ; 

} 

} 

} 


Ese tipo de neurona está en las capas ocultas y capa de salida del perceptrón multicapa. 

Los pesos se inicializan con un valor al azar y un buen sitio es hacerlo en el constructor. En el ejemplo se hace uso de la clase 
Random y luego NextDouble() que retorna un número real al azar entre 0 y 1. 

namespace RedesNeuronales { 
class Neurona { 

//Pesos para cada entrada Pl y P2; y el peso de la entrada interna U 
private double Pl; 
private double P2; 
private double U; 

public NeuronaQ //Constructor 

{ 

Random azar = new RandomQ; 

Pl = azar.NextDoubleQ; 

P2 = azar.NextDoubleQ; 

U = azar.NextDoubleQ; 

} 

public double calculaSalida(double El, double E2) 

{ 

double S; 

//Se hace una operación aquí 
return S; 

} 

} 

class Program { 

static void Main(string[ ] args) 

{ 

Neurona algunaCapasOcultas = new NeuronaQ; 

Neurona algunaCapaSalida = new NeuronaQ; 

} 

} 

} 


Hay que tener especial cuidado con los generadores de números aleatorios, no es bueno crearlos constantemente porque se 
corre el riesgo que inicien con una misma semilla (el reloj de la máquina) generando la misma colección de números 
aleatorios. A continuación se modifica un poco el código para tener un solo generador de números aleatorios y evitar el riesgo 
de repetir números. 


Rafael Alberto Moreno Parra 


26 




namespace RedesNeuronales { 
class Neurona { 

//Pesos para cada entrada P1 y P2; y el peso de la entrada interna U 
prívate double Pl; 
prívate double P2; 
prívate double U; 

public Neurona(Random azar) //Constructor 

{ 

Pl = azar.NextDoubleQ; 

P2 = azar.NextDoubleQ; 

U = azar.NextDoubleQ; 

} 

public double calculaSalida(double El, double E2) 

{ 

double S; 

//Se hace una operación aquí 
return S; 

} 

} 

class Program { 

static void Main(string[ ] args) 

{ 

Random azar = new RandomQ; //Un solo generador 
Neurona algunaCapasOcultas = new Neurona(azar) ; 

Neurona algunaCapaSalida = new Neurona(azar) ; 

} 

} 

} 
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Pesos y como nombrarlos 


En el gráfico se dibujan algunos pesos (controles analógicos) y como se podrá dilucidar, el número de estos pesos crece 
rápidamente a medida que se agregan capas y neuronas. 



Un ejemplo: Capa 1 tiene 5 neuronas, capa 2 tiene 4 neuronas, luego el total de conexiones entre Capa 1 y Capa 2 son 
5*4=20 conexiones, luego son 20 pesos. Nos quedaríamos rápidamente sin letras al nombrar cada peso. Portal motivo, hay 
otra forma de nombrarlos y es el siguiente 

(capa de donde sale la conexión ) 

^neurona inicial,neurona final 


W es la letra inicial de la palabra peso en inglés: Weight 

(Capa de donde sale la conexión) Las capas se enumeran desde 1 que sería en este caso la capa de entrada 
Neurona inicial, de donde parte la conexión 
Neurona final, a donde llega la conexión 

A continuación, se muestra el esquema con cada capa y cada neurona con un número 
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Entrada 1 


Entrada2 


Entrada3 


Entrada4 



Capa 1 


Capa 2 Capa 3 


Capa 4 


Salida 1 


Salida 2 


► 


► 


Para nombrar el peso mostrado con la letra 'a' sería entonces 

(capa de donde sale la conexión ) 
^neurona inicial,neurona final 



En esta tabla se muestra como se nombrarían los pesos que se han puesto en la gráfica 


Peso 

Se nombra 

a 

(i) 

<1 

b 

(i) 

W 2,2 

c 

(1) 

<3 

d 

(2) 

<1 

e 

W 2,2 

f 

(3) 

W 3,2 
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La función de activación de la neurona 


Viendo de nuevo el esquema de una neurona con dos entradas, una salida y un umbral 



La salida se calcula así: 

S = f ( El * P1 + E2 * P2 + 1 * U ) 

¿Y que es f( )? Es la función de activación. Al principio de este libro se documentó así: 

Función f(valor) 

Inicio 

Si valor > 0 entonces 
retorne 1 
de lo contrario 

retorne 0 

fin si 

Fin 

En otros problemas, por lo general, esa función es la sigmoide que tiene la siguiente ecuación: 

y ~ 1 + e~ x 

Esta sería una tabla de valores generados con esa función 


X 

V 

-10 

4,5E-05 

-9 

0,00012 

-8 

0,00034 

-7 

0,00091 

-6 

0,00247 

-5 

0,00669 

-4 

0,01799 

-3 

0,04743 

-2 

0,1192 

-1 

0,26894 

0 

0,5 

1 

0,73106 

2 

0,8808 

3 

0,95257 

4 

0,98201 

5 

0,99331 

6 

0,99753 

7 

0,99909 

8 

0,99966 

9 

0,99988 

10 

0,99995 


Y esta sería su gráfica 
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-15 -10 -5 0 5 10 15 

Al moverse a la Izquierda el valor que toma es 0 y al moverse a la derecha toma el valor de 1. Hay una transición pronunciada 
de 0 a 1 en el rango [-5 y 5]. 

¿Qué tiene de especial esta función sigmoide? Su derivada. 

Ecuación original: 

y ~ l + e ~* 

Derivada de esa ecuación: 


Que equivale a esto: 


Demostración de la equivalencia: 



(1 + e~ x ) 2 


y' = y * (1 - y) 



1 1 
1 + e~ x y 1 + e~ xJ 
111 


y 1 + e~ x 1 + e~ x * 1 + e 
1 1 

7 l + e~ x (1 + e~ x ) 2 

, _ 1 + e“ x - 1 

y ~ (1 + e -*) 2 

e -x 

y ~ (1 + ~e~ x Y 


-X 
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El código del perceptrón multlcapa progresa así: 


using System; 

namespace RedesNeuronales { 
class Neurona { 

//Pesos para cada entrada P1 y P2; y el peso de la entrada interna U 
prívate double Pl; 
prívate double P2; 
prívate double U; 

public Neurona(Random azar){ 

Pl = azar.NextDouble(); 

P2 = azar.NextDouble(); 

U = azar.NextDouble(); 

} 

public double calculaSalida(double El, double E2) { 
double valor, S; 

valor = El * Pl + E2 * P2 + 1 * U; 

S = 1 / (1 + Math .Exp(-valor)); 

return S; 

} 

} 

class Program { 

static void Main(string[] args) 

{ 

Random azar = new Random(); //Un solo generador de números al azar 
Neurona algunaCapasOcultas = new Neurona(azar) ; 

Neurona algunaCapaSalida = new Neurona (azar); 

} 

} 

} 


El método calculaSalida ¡mplementa el procesamiento de la neurona. Tiene como parámetros las entradas, en este caso, dos 
entradas El y E2. En el interior cada entrada se multiplica con su peso respectivo, se suman, incluyendo la entrada interna 
(umbral). Una vez con ese valor, se calcula la salida con la sigmoide. 
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Introducción al algoritmo de propagación hacia atrás de errores 


En el siguiente ejemplo vemos una conexión entre tres neuronas 



El y E2 son las entradas externas, los valores que da el problema. Se observa que El entra con un peso en la neurona de 
arriba y con otro peso en la neurona de abajo. Sucede lo mismo con la entrada E2. Tanto la neurona de arriba como la de 
abajo tienen sus propias entradas internas. 

Lo interesante viene después, porque la salida de la neurona de arriba que es SI y la salida de la neurona de abajo que es S2 
se convierten en entradas para la neurona de la derecha y esas entradas a su vez tienen sus propios pesos. Al final el sistema 
genera una salida S3 que es la respuesta final de la red neuronal. 

¿Qué importancia tiene eso? Que si queremos ajustar S3 al resultado que esperamos, entonces retrocedemos a las entradas 
(SI y S2) de esa neurona de la derecha ajustando sus pesos respectivos y por supuesto, ese ajuste nos hace retroceder más 
aún hasta mirar los pesos de las neuronas de arriba y abajo. Eso se conocerá como el algoritmo de propagación hacia atrás de 
errores o retro propagación (backpropagation). 

1 


El 


E2 
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Luego: 

51 = f{E 1 * P1 + E2 * P3 + 1 * Ul) 

5 2 = f(E 1 * P2 + E2 * P4 + 1 * U2) 

53 = /(SI * P5 + S2 * P6 + 1 * U3) 

Se concluye entonces que 

53 = f(f(E 1 * P1 + E2 * P3 + 1 * Ul) * P5 + f(E 1 * P2 + E2 * P4 + 1 * U2) * P6 + 1 * U3) 
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Volviendo al perceptrón multicapa, le ponemos nombre a las salidas de las neuronas que hacen procesamiento, es decir, las 
capas 2, 3 y 4. Quedando así: 


El 


E2 


E3 


E4 



Capa 1 


Capa 2 Capa 3 


Capa 4 


Y recordando la forma de nombrar los pesos 

(capa de donde sale la conexión ) 

^neurona inicial,neurona final 

Luego 

51 = / (d * + e * + k * + 1 * 

52 = / (^d * + e * w® + k * ^ + 1 * i¿ 8 ^ 

d = f (a* w® + b * w® + c * + 1 * i¿4^ 

e = / (a * w® + b * ^ + c * W 3 ^ + 1 * u5^ 

k = f (a* w [+ b * W 2 2 ^ + c * W 3 2 ^ + 1 * i¿ 6 ^ 

a = f (^E 1 * + £2 * + E3 * + £4 * + 1 * al) 

b = f (ji 1 * + £2 * W 2 2 * + E3 * W 3 ^ + £4 * ^ + 1 * u2^ 

c = / (iíl * + £2 * W 2 3 ^ + E3 * W 3 ^ + E4 * + 1 * u3^j 


► 


► 
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Nombrando las salidas, los umbrales y las capas 


En el gráfico anterior se aprecia que las salidas han sido nombradas a, b, c, d, e, ky los umbrales ul, u2, 
u3, u4, u5, u6, u7, u8. Esa no es la mejor manera de nombrarlos porque un perceptrón multicapa podría 
tener una buena cantidad de neuronas a tal punto que nos quedaríamos sin letras y por otro lado habría que 
mirar constantemente el gráfico para dar con la salida o umbral nombrado. Por esa razón, hay una mejor 
manera de nombrarlos. 


Salidas 


(capa de la neurona de esa salida ) 
^neurona de esa salida 


Umbrales 

(capa de la neurona que tiene esa entrada interna ) 
'neurona que tiene esa entrada interna 

Capas 


^número de la capa 


Volviendo al gráfico, entonces: 


Como se nombró antes 

Nueva nomenclatura 

a 

(2) 

<q 

b 

(2) 

a 2 

c 

(2) 

a 3 

d 

( 3 ) 

<q 

e 

( 3 ) 

a 2 

k 

( 3 ) 

a 3 

ul 

(2) 

iq 

u2 

(2) 

U\ 

u3 

(2) 

u\ 

u4 

( 3 ) 
iq y 

u5 

( 3 ) 

V> 2 

u6 

£ 

00 /-> 
00 
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u7 

(4) 

iq 

u8 

(4) 

*4 

Capa 1 

ni 

Capa 2 

n 2 

Capa 3 

n 3 

Capa 4 

n 4 


El gráfico anterior las capas tienen valores que es el número de neuronas en cada capa, luego 


% = 4 
n 2 = 3 
n 3 = 3 
n 4 = 2 

Las ecuaciones cambian así: 


a 

a 

a 


( 2 ) 

1 

( 2 ) 

2 

( 2 ) 

3 


51 = 

= /1 

< (3) 

a: 

K 1 

(3) 

* <1 

, (3) 

+ a\ 

(3) 

* W 2 ,l 

, ( 3 ) 

+ <23 

(3) 
* W 3 ,l 

+ 

1 (4) > 

1 * u: 

52 = 

= /l 

( (3) 

n 

K u i 

(3) 

* W l,2 

+ a 2 3) 

(3) 

* W 2,2 

+ a¡ 3) 

(3) 

* W 3,2 

+ 

1 (4) > 

1 * UX 

ro' 

tí 

= / 

(af ) 

( 2 ) 
* W l ,l 

+ 

( 2 ) 
* W 2 ,l 

+ a¡ 2) 

( 2 ) 
* W 3,l 

+ 

i (3) 

1 * iq 

(3) 

a 2 : 

= / 

(af ) 

( 2 ) 
* W l,2 

+ 

( 2 ) 

* W 2,2 

+ a¡ 2) 

( 2 ) 
* W 3,2 

+ 

1 (3) 

1 * i ¿2 

(3) 

a 3 : 

= / 

(af ) 

( 2 ) 
* W lJ 

+ (¿p 

( 2 ) 
* W 2,3 

+ a¡ 2) 

( 2 ) 
* W 3,3 

+ 

1 (3) 

1 * i ¿2 


= f (El* wp* + E2 * + E3 * + E4 * + 1 * 

= f (e 1 * + £2 * + E3 * W 3 2 * + £4 * ^ + 1 * 

= / [El * + £2 * W 2 3 ^ + E3 * W 3 3 ^ + E4 * 3 * + 1 * 


> 

) 

) 
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¿Qué hay de El, E2, E3 y E4? Podrían tomarse como salidas de las neuronas de la capa 1. Cabe recordar que en esa capa 1 no 
hay procesamiento, luego los datos que entran son los mismos que salen. Luego: 


Como se nombró antes 

Nueva nomenclatura 

El 

(1) 

a\ 

E2 

(i) 

a 2 

E3 

(1) 

a 3 

E4 

(1) 

£*4 


Luego las tres últimas ecuaciones quedan así: 

a ? = f ( a í^ * W 11 + a 2^ * W 21 + a 3^ * w 3l + * w 4i + 1 * l^) 


a< 2^ = f ( a í^ * W 1 2^ + a 


( 1 ) 

2 


,(D 


(!) - ,.,(1) i 


* Wn , + a: ; * Wo o + a; * w; 4 + 1 * i¿ 


,( 2 ) 


2,2 


3,2 


4,2 


) 


„(2) _ f ^(1) * W (D , „(1) * W (D , „(1) * W (D , „(1) * W (D , i * 7/ (2)\ 

a 3 — / \ a i * W l,3 ' a 2 * W 2,3 ' a 3 * W 3,3 ' a 4 * W 4,3 + ^ * U 3 ) 


Y generalizando se puede decir que 


„(*) - f ( n ( k -V * w (/c_1) 4 - r7 (/c_1) * w (/c_1) 4 - r7 (/c_1) * w (/c_1) 4 - r7 (/c_1) * w (/c_1) 4 - 1 * iS k A 
U i ~i [ a j * W j,i + a j+l * W 7 + l,i + a j+2 * W 7 + 2,i + U j+3 * W 7+3,i + 1 * U i ) 


a 


njc-i 




= /( w- k) + ^ a] 


^ * w (k_1) ) 
7.1 7 


7=1 
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Regla de la cadena 


Para continuar con el algoritmo de propagación hacia atrás, cabe recordar esta regla matemática llamada regla de la cadena 

[/(flW)]' = * g'(x) 

Un ejemplo: 

g(x ) = 3 * x 2 

fÍP ) = 7 - p 3 

Luego 

f{g(.x )) = 7 - (3 * x 2 ) 3 

Derivando 

2 * 3 3 * 3 * (x 2 ) 3 162 * x 6 

x )) I =-=-= —162 * x 

yj x x 



Usando la regla de la cadena 


[f (a (*))]' = /'(sW) * g'Od = (7 - p 3 )' * (3 * x 2 )' = 
(0 — 3 * p 2 ) * (6 * x) = (0 — 3 * (3 * % 2 ) 2 ) * (6 * x) = 
(0 — 3 * (9 * % 4 )) * (6 * x) = —162 * % 5 
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Derivadas parciales 


Dada una ecuación que tenga dos o más variables independientes, es posible derivar por una variable considerando las demás 
constantes, eso es conocido como derivada parcial 

Ejemplo de una ecuación con tres variables independientes 

q = a 2 + b 3 + c 4 

Su derivada parcial con respecto a la variable b sería 

dq 


Y con respecto a la variable a sería 


db 


(a, b, c) = 0 + 3 * b ¿ + 0 


dq 

db 


(a, b, c) = 3 * b‘ 


dq 

da 


(a, b, c) = 2 * a + 0 + 0 


dq 

da 


(a, b,c) = 2 * a 
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Las derivadas en el algoritmo de propagación hacia atrás 


Observamos el siguiente gráfico muy sencillo de un perceptrón multicapa. Recordar que la capa de entrada no hace proceso. 



Capa de 
entrada 


Capa oculta 


Capa de 
salida 


(3) r f (2) (2) . (2) (2) . . (3)x 

a i = /( a i * W l,l + a 2 * W 2,l + i * ) 


= f(a^ * w$ + 1 * i¿P^) 


a 2 ) = /( a í 1} * W l ( ,2 + 1 * *4 2) ) 


Luego reemplazando 


(3) r r r r (1) (1) . . (2)n (2) . (1) (1) . ^ (2)x (2) . ^ (3)x 

a i = /(/( a i * i + 1 * ) * W x / + 2 + 1 * 1¿2 * w 2 1 1 * U 1 ) 


Simplificando 


(3) 

a: = 


/(/( a í 1} * W lV + U l^) * w n + * W 1 2^ + ^2 * W 2 2 l + u í^) 
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Recordar que la fundón f( ) es una sigmoidea, por lo tanto al derivar: 

/M' = m * (1 - /(r)) 

¿Qué sucedería si r es a su vez una función? 

r = g{k) 

Que si se deriva r aplicando la regla de la cadena tenemos 

f(r)' = f[g(k)]' = f [g(k)] * [g(k)]' 

Y como f( ) es sigmoidea, entonces al derivar 

/<>)' = f[g(k)]' = f [ g(k )] * [g(k)]' = f(g(k )) * (1 - f(g(k)) * [g(k)]' 


¡OJO! g(k) es una función sigmoidea y además k es una función polinómica, luego la derivada de [g(k)] aplicando la regla de 
la cadena sería: 

[g(k)]' = g'(k ) *k' = g{k) * (1 - g(k )) * k' 

La derivada queda así 

f(ry = f[g{k)]' = f [g(k)] * lg(k)]' = f{g(k)) * (1 - f{g(k)) * g(k) * (1 - g(k)) * k' 


Simplificando un poco 

f(?)' = f(r ) * (l - /(r)) * g(k ) * (1 - g(k)) * k' 
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Esta es la ecuación que se va a derivar parcialmente con respecto a un peso 

(3) rrrf (1) (1) . (2X (2) , r f (1) (1) . (2). (2) . (3). 

al = /(/(al * wl / + u\’)* w// + /(al * + u 2 ’)* w' 2 { + ul ; ) 

( 1 ) 

En el ejemplo, se deriva con respecto a W^ ^ (una derivada parcial). En rojo se pone que ecuación interna es derivable con 

( 1 ) 

respecto a ^ 


da\ 


(3) 


= [/([/ (aí 1} * wlV + up } ) * w® 


dw 


( 1 ) 

1,1 




+ 0 + 0 


)]' 


Para derivar entonces se deriva la f externa (que está en negro y es f(r)), luego la f interna (que está en rojo y es g(k) y que 

( 2 ) ( 1 ) 

la multiplica la constante ^ ) y por último el polinomio (que es k) que está en verde porque allí está W^ ^ . Hay tres 

derivaciones. 


Sabiendo que: 


f(r) = af } 


Y 


g(k) = + uY ) 

/(r)' = /(r) * (1 - /(r)) * g{k ) * (1 - g(k)) * k' 


(i) . ,„(D 


( 2 )- 


Entonces 


da\ 


(3) 


dw S 


= ap^ * (l — ap^ * ap^ * (l — ap^ * wp^ * 


(i) 


Rafael Alberto Moreno Parra 


43 





Para otro peso, en 


Y 


Y el modelo es: 


Luego 


Generalizando 


Donde j puede ser 


( 1 ) 

rojo se pone que ecuación Interna es derlvable con respecto a W^ 2 sabiendo que 

f(r) = a® 


g(k) = oSp = + i¿p ) 


da\ 


(3) 


dw 


(1) 

1,2 


= [f(0 + [f(a[ 


( 1 ) 


w , (2)\ 

* W-.V + U2 1 * W- 


,(D 

1,2 


( 2 ) 

2,1 


n A 


+ 0 


)]' 


/(r)' = /(r) * (l - /(r)) * 5(fe) * (1 - #(fc)) * fe' 


dcq 


(3) 


dw. 


(1) 

1,2 


= * (l — * (l — ap^ * * a£ 


(i) 


da[ 3) (3) 

— O) = a i * 


dw. 


(l - a®) 


( 2 ) 

* a ■ * 


ij 


(l - «f) . < . a« 


(1) 


( 1 ) ( 1 ) 

1 o 2. Esa sería la generalización para los pesos W^ ^ y W^ 2 
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( 2 ) ( 2 ) 

¿Qué hay de los pesos ^ y W 2 ^ ? 

(3) zvzv (1) (1) . (2 )n (2) . ¿v (1) (1) . (2 )n (2) 

cq = /(/(cq * w 1 x + iq ) * wq x + /(cq * w 12 +1¿ 2 ) * w 2 / 


dcq 


(3) 


= [/([/ («í 1} * w []¡ + u®) * w® 


aw® 


+ 0 + 0 


)]' 


.( 2 ) 


Observamos que es ^ con la que se deriva, luego: 


dcq 


(3) 


dw 


( 2 ) 

1,1 


Y como 


Y el modelo es 


= [/ (/ (ap^ * + 0 + o)]' 


(¿p = f( a P * w i¿ + u i ) 


f(ry = f(r) * (1 - /(r)) * g(k) * (1 - g(kj) * k' 


entonces 


luego 


Generalizando 


Donde j=l o 2 


da\ 


(3) 


dw 


( 2 ) 

1,1 



dcq 


(3) 


dw. 


( 2 ) 

2,1 



dcq 


(3) 





* (l — ap^ * ap^ 

* (l — ap^ * (¿p 

* (l — ap^ * aj 2 ^ 
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Faltan los umbrales 


(3) r f r f (1) (1) , (2). (2) . rr (1) (1) , (2). (2) 

= f(f(a\ * wit + u\ 0 * w x y + f(a\ * + U y)* w' 2 { 


Y como 


entonces 


en el siguiente umbral 


da\ 


(3) 


= [/([/ (+ } * w® + u®) * w® 


r 


du 


( 2 ) 


ap^ = f(c¿p * + 1 * upp 


+ 0 + 0 


)]' 


da^ 


(3) 


du 


( 2 ) 


= ap^ * (l — ap^ * * ap^ * (1 — app 


da^ 


(3) 


dl¿ 


( 2 ) 


= a® * (l - a®) * w® * a® * (1 - a®) 
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Con un ejemplo más complejo en el que la capa oculta tiene dos capas de neuronas y cada capa tiene dos neuronas, y ¡OJO! 
la capa de entrada no hace proceso 





i 

i 

©< 

( 2 ) ( 3 ) 

U 1 ( 2 ) “i 

W, 1 

i-© €■■■• 

W 2 ( ,2 ' 

« 2 ® 4 3) ! 


9 

Capa de 
entrada 

Capa oculta 

Capa de 
salida 


Se buscan los caminos para 



, entonces hay dos marcados en rojo 


► 


U 


( 2 ) 


U 


(3) I 


□°í§ tt o ® yír 

W 2 2 2 t 

(3) 

u\ J 


U 


( 2 ) 


Capa de 
entrada 


Capa oculta 


(4) 


Capa de 
salida 


Y 
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Capa de 
entrada 


Capa oculta 


Capa de 
salida 


Luego la siguiente expresión para 
primer camino rojo y se le suma e 


( 1 ) 

a derivada parcial con respecto a W^ ^ es seguir los dos caminos, el primer sumando es el 
segundo camino rojo 


da\ 


(4) 


dw 


(i) 

1,1 


= * (l — ap^ * w[ 3 ¡ * ap^ * (l — ap^ * vpp * * (l — ap^ * a[ 


(i) 


+ 


ap^ * (l — ap^ * wp^ * ap^ * (l — ap^ * upp * ap^ * (l — ap^ * a[ 


(i) 


Recomendado ir de la entrada a la salida para ver cómo se incrementa el nivel de las capas 


da\ 


dw. 


(i) 

1,1 


= c¿p * ap^ * (l — ap^ * * ap^ * (l — ap^ * wp* * ap^ * (l — ap^ 

ap^ * ap^ * (l — ap^ * wpp * ap^ * (l — ap^ * wp^ * ap^ * (l — ap^ 


+ 


Y así poder generalizar 



La ventaja es que si las capas ocultas tienen más neuronas, sería cambiar el límite máximo en la sumatoria. 
Renombrando la entrada y salida del perceptrón así: 


Entonces 




Xi 

Vi 


dyi 


dw. 


(i) 

1,1 


( 2 ) 

x 1 * a\ 




* a- 


(3) 



* yi * (i - yi) 
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Con un perceptrón con más entradas y salidas como se ve a continuación 



Capa de 
entrada 



Capa oculta 


Si se desea dar con 


dy i 


dw 


(i)' 

1,1 


hay que considerar los diferentes caminos 


Capa de 
salida 



Capa de 
entrada 



Capa oculta 


Capa de 
salida 
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Capa de 
entrada 



Capa oculta 


Capa de 
salida 



Capa de 
entrada 


Capa oculta 


Capa de 
salida 


► 


► 


► 


► 


Y de nuevo las capas que se nombran como ni, ni, ris, r\4, donde: ni es la capa de entrada que no tiene procesamiento y tiene 
2 neuronas. Ver: 

ni = 2 (tiene dos neuronas) 

n2=4 (tiene cuatro neuronas) 

n3=4 (tiene cuatro neuronas) 

n 4=2 (tiene dos neuronas) 

Luego 

= x ± * * (l — ap^ * 



n 3 

i 

p=i 


w 


( 2 ) 

1 ,V 


( 3 ) 

* dp * 


(l - O®) 


* W. 


( 3 ) 

V, 1 


* 


yi * (i - yi) 
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Generalizando 



= Xj * a 


( 2 ) 

k 



* a 


( 3 ) 

V 



* y i * (i - y¿) 


Donde 


¡=1.. n4 
j = l.. ni 
k=l.. X\2 


¿Y para los W 


( 2 ), 


dji 


dw 


( 2 ) 


= o® * a® * (l - a®) * w® * y¿ * (1 - y ( ) 


j,k 


¿Y para los W 


( 3 ) ? 


dy¿ 

aw.® 

J,i 


= aj 3) * y¿ * (i - y¡) 


¿Y los umbrales U 


dyi 


du 


( 2 ) 

k 


( 2 ) ? 


1 * a® * (l 


- 4 2) ) 


* 


n 3 

I 

p =1 


( 2 ) ( 3 ) 

*ai, * í 1 


'fc,p * u p 


- a®) 


* w. 


( 3 ) 

p,i 


* 


y¿ * (i - y¡) 


Donde 


¡=1.. n4 

k=l.. r\2 


¿Y los umbrales U 



¿Y los umbrales U 



= 1 * 4 3) * i 1 - 4 3) ) * w kí * y¡ * C 1 - y¡) 

ou k 



1 * y¡ * (1 - y¡) 
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Tratamiento del erraren el algoritmo de propagación hacia atrás 


Tenemos la siguiente tabla 


Entrada Xi 

Entrada X 2 

Valor esperado de salida Si 

Valor esperado de salida S 2 

1 

0 

0 

1 

0 

0 

1 

1 

0 

1 

0 

0 


Pero en realidad estamos obteniendo con el perceptrón estas salidas 


Entrada Xi 

Entrada X 2 

Salida real Yi 

Salida real Y 2 

1 

0 

1 

1 

0 

0 

1 

0 

0 

1 

0 

1 


Hay un error evidente con las salidas porque no coinciden con lo esperado. ¿Qué hacer? Ajustar los pesos y los umbrales. 





Capa de 
entrada 





Capa oculta 




Capa de 
salida 


Si tomásemos las salidas yi y y 2 como coordenadas e igualmente Si y S 2 , tendríamos lo siguiente: 



Como la función de salida de las neuronas es la sigmoidea, la salida está entre 0 y 1. 


Si 

► 
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En el gráfico de color verde está el error y para calcularlo es usar la fórmula de distancia entre dos puntos en un plano: 


Error = \¡{S 2 - y 2 ) 2 + (Si ~ yi) 2 


Requerimos minimizar ese Error, luego hay que considerar que dado: 

f(x) = Va(x) 


Al derivar: 


/'(*) = 


g'(x) 


2 * '\[g(x) 


Y como hay que minimizar se iguala esa derivada a cero 


Luego 




g'(x) = o 


En otras palabras, la raíz cuadrada de f (x), es irrelevante cuando buscamos minimizar, porque lo importante es minimizar 
el interior. Luego la ecuación del error pasa a ser: 

Error = (S 2 - y 2 ) 2 + (Si - yi ) 2 

Que es más sencilla de evaluar. Pero aún no hemos terminado. El siguiente paso es multiplicarla por unas constantes 
quedando así: 

i , i 

Error = - (S 2 - y 2 ) 2 + - (S ± - y ± ) 2 

¿Y por qué se hizo eso? Para hacer que la derivada de Error sea más sencilla. Y no hay que preocuparse porque afecte los 
resultados: como se busca minimizar, esas constantes no afectan el procedimiento. 


¡OJO! Hay que recordar que yi, y2, varían, en cambio, Si, S2 son constantes porque son los valores esperados. 


Hay que considerar esta regla matemática: Si P es una función con varias variables independientes, es decir: P(m,n) y Q 
también es otra función con esas mismas variables independientes, es decir: Q(m,n) y hay una superfunción que hace uso de 
P y Q, es decir: K(P,Q), entonces para derivar a K por una de las variables independientes, tenemos: 


dK 

dK 

dP 

dK 

dQ 

— 

- — * 


+ — * 

dm 

dP 

dm 

dQ 

dm 

dK 

dK 

dP 

dK 

dQ 

- 

- — * 


+ — * 

dn 

dP 

dn 

dQ 

dn 


Luego 

dError dError dy x dError dy 2 

dm dy x dm dy 2 dm 

¿Y qué es ese cuadro relleno negro? Puede ser algún peso o algún umbral. Generalizando: 

n 4 

dError /dError dy¿\ 
dm = Zj V dyt * ~dm) 

i=1 

Donde n 4 es el número de neuronas de la última capa. 

Sabiendo que 
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Error = ^ (S 2 - y 2 ) 2 + ^(S 1 - y 1 ) 2 


Entonces la derivada de Error con respecto a yi es: 


dError 

dy 1 


= yi~S] 


Generalizando 


dError 

dyi 


= Vi-s t 


Luego 


dError 


n 4 


= 'Yj (cy« - s o 

i=i 


* 


dyi 


Queda entonces el cuadro relleno negro que como se mencionó anteriormente puede ser un peso o un umbral. Entonces si 
tenemos por ejemplo que: 

■ = w (3) 

J,l 

Entonces como hay una i en particular, la sumatoria se retira luego. 

dError dvj 

= (y¡ - Si) * 


dw 


( 3 ) 


J,l 


dw 


( 3 ) 




Y como 


dyi 


dw 


= a,- 3) * y¡ * (i - y¿) 


( 3 ) “7 


J,l 


Luego 


dError 


dw 


( 3 ) 


= (y¿ - •S'i) * a ¡ 3> * y i * (i - y¿) 




Ordenando 


dError 

dw (3) 

J,l 


= a,- 3) * (y¿ - s,) * y¿ * (i - y¿) 
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De nuevo la derivada del error 


Suponiendo que 


Entonces 


Y como 


Entonces 


dError 


n 4 , 

= ^ ^(y¿ - Si) 


* 


dy t 


( 2 ) 

= W-r 

J,k 


dError 


n 4 


dw 


( 2 ) 


= 'Yj ^ ~ 


* 


dyi 


j,k i =1 


dw 


( 2 ) 


j,k 


dyi 


= aj 2) * a® * (l - a®) * w¿ 3) * y¿ * (1 - y¡) 


dError 


n 4 


dw 


( 2 ) 


= ^ ((y¿ - Si) * a® * a® * (l - a®) * w fc (3) * y¿ * (1 - y ¿ ; 


;,A: i=l 


Simplificando 


dError 


dw, 


( 2 ) 


j,k 


n 4 

= aj 2) * a® * (l - a®) * ^ ((y¿ - 5¡) * w fc (3) * y¿ * (1 - 

¿ = 1 
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De nuevo la derivada del error 


dError 


n 4 , 

= ^ ^(y¿ - Si) 


* 


dy t 


Suponiendo que 


( 1 ) 

= w-i 

J,k 


Luego la derivada del error es: 


dError 


n 4 


dw 


(i) 


-i 


(y¡ - so * 


dyi 


j,k i=1 


dw 


(i) 


j,k 


Y como se vio anteriormente que 

dy¿ 


dw j,k 


(1) X J * 


4 2) * í 1 - 4 2) ) 


* 


i 

P=1 


«■S ** 11 


(i - «?>) 


* w. 


( 3 ) 

Vi 


* 


y¿ * (i - y¡) 


Luego reemplazando en la expresión se obtiene: 

dError 


Simplificando 
dError 


n 4 / 

' ™3 

\ 

y ( Oí — S¡) * X; * a® * (l - a®) * 

^ w fc 2 p * a® * (l - a®) * w® 

* y i * (i - y¡) 

í=1 \ 

P = 1 

/ 


n 4 




dError 


( 2 ) , 4 
Xj * a k * [ 1 


(i - a®) * ^ (y¡ — 5¡) * ^ 


1 = 1 
™3 


™3 


* a® * (l 


fc,p “p 


- a®) 


* w. 


(3) 

p,i 


p =1 


\ 


* y¡ * (i - yO 


) 


dw 


(i) 


( 2 ) , 4 
Xj * CL k * ( 1 


(i — a 


( 2 ) 

/c 


)*Z 




p=i 


n 4 


(2) (3) 

<p * a p * 


(l - a®) * ^ (w® * (y¡ - 5¡) * y¡ * (1 

Í = 1 
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En limpio las fórmulas para los pesos son: 

dError ^ 


3w® ~ J 

J 


= a) ; *(y¿-s¿)*y ¿ *(i-y ¿ ) 


dError 


n 4 


dw, 


( 2 ) 


(2) (3) , 4 

a} * a y k * (1 


(i - a®) * V (w k ® * (y¡ - S¿) * y¡ * (1 - 


j,k 


¿-i \ 

i=l 



dError 


n 3 


dw 


(i) 


(2) I i 

Xj * CL k * ( 1 


(>-«?>)• y 


j,k 


p =1 


n 4 


(2) (3) 

<p * a p * 


(i - a®) * V (w® * (y¡ - 5¡) * y¡ * (1 


¿—¡ \ 

1 = 1 



Y para los umbrales sería: 

dError 


du) 


(4) 


= (y¡-s í )*y i *(i-y i ) 


dError 


n 4 


di¿ 


(3) 

k 


af • 11 


(i - «?’)' y tó’ * (y, - 5;) * yi • (i 


Z-J V 

i=l 



dError 


n 3 


du 


( 2 ) 

k 


4 a • 11 


(> - »?>) * y 


p =i 


n 4 


(2) (3) 

<p * S * 


(l - a®) * V (w® * (yi - Si) * y t * (1 - 


¿_i V 

i=l 
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Variando los pesos y umbrales con el algoritmo de propagación hacia atrás 


La fórmula de variación de los pesos y umbrales es: 


(3) (3) ^ 

W>/ <- W .■ — OC* 

J pL 


J.i 


( 2 ) 
W- , 
J,k 


( 1 ) 
W- , 
J,k 


( 2 ) 

w.y-oc* 


(i) , 

Wj,k~ K* 


dError 

dw (3) 

J,l 

dError 

dError 

W 


(4) (4) 

U¡ J <r- U¡ “OC* 


3l V 

dError 


du , 


(4) 


(3) (3) ^ 

u k u k —oc * 




dError 


du 


(3) 


k 

dError 


du 


( 2 ) 

k 


Donde OC es el factor de aprendizaje con un valor pequeño entre 0.1 y 0.9 
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Implementación en C#del perceptrón multicapa 


El siguiente modelo entidad-relación muestra cómo se compone un perceptrón multicapa 



Un perceptrón tiene dos o más capas (mínimo una oculta y la de salida), no se considera la capa de entrada porque no hace 
operaciones. Una capa tiene uno o más neuronas. 

Para ¡mplementarlo se hace uso de clases y listas. 



Cada neurona tiene los pesos de entrada y el umbral. Para los pesos se hace uso de un arreglo unidimensional de tipo double 

class Neurona { 

prívate double[] pesos; //Los pesos para cada entrada 
prívate double umbral; 

} 


En el constructor se inicializa el arreglo de pesos. 

class Neurona { 

prívate double[] pesos; //Los pesos para cada entrada 
prívate double umbral; 

public Neurona(Random azar, int TotalEntradas) { //Constructor 
pesos = new double [TotalEntradas]; 

for (int cont=0; cont < TotalEntradas; cont++) pesos[cont] = azar.NextDoubleQ; 
umbral = azar.NextDouble(); 

} 

} _ 

El objeto azar es enviado al constructor de esta clase porque es necesario mantener sólo un generador de números pseudo- 
aleatorios. 
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Se añade a la clase neurona el método que calcula la salida que tiene como parámetro un arreglo unidimensional con los datos 
de entrada. 


class Neurona { 

prívate double[] pesos; //Los pesos para cada entrada 
prívate double umbral; 

public Neurona(Random azar, int TotalEntradas) { //Constructor 
pesos = new double[TotalEntradas]; 

for (int cont=0; cont < TotalEntradas; cont++) pesos[cont] = azar.NextDoubleQ; 
umbral = azar.NextDouble(); 


public double calculaSalida(double[] entradas){ 
double valor = 0; 

for (int cont = 0; cont < pesos.Length; cont++) valor += entradas[cont] * pesos[cont]; 
valor += umbral; 

return 1 / (1 + Math.Exp(-valor)); 

} 

} 


La clase capa crea las neuronas al instanciarse y guarda en un arreglo unidimensional, la salida de cada neurona de esa capa 
para facilitar los cálculos más adelante. 

class Capa { 

List<Neurona> neuronas; 
public double[] salidas; 

public Capa(int totalNeuronas, int totalEntradas, Random azar){ 
neuronas = new List<Neurona>( ); 

for (int genera = 1; genera <= totalNeuronas; genera++) neuronas.Add( new Neurona(azar, totalEntradas)); 
salidas = new double[totalNeuronas]; 

} 

} _ 

Se añade el método en que calcula la salida de cada neurona y guarda ese resultado en el arreglo unidimensional "salidas" 

class Capa { 

List<Neurona> neuronas; 
public double[] salidas; 

public Capa(int totalNeuronas, int totalEntradas, Random azar){ 
neuronas = new List<Neurona>( ); 

for (int genera = 1; genera <= totalNeuronas; genera++) neuronas.Add( new Neurona(azar, totalEntradas)); 
salidas = new double[totalNeuronas]; 

} 

public void CalculaCapa (double [] entradas){ 

for (int cont = 0; cont < neuronas.Count; cont++) salidas[cont] = neuronas[cont].calculaSalida(entradas); 

} 


La clase Perceptron que debe crear las capas 


class Perceptron { 

List<Capa> capas; 

//Crea las diversas capas 

public void creaCapas(int totalentradasexternas, int[] neuronasporcapa, Random azar){ 
capas = new List<Capa>() ; 

capas. Add(new Capa(neuronasporcapa[0], totalentradasexternas, azar)); //La primera capa que hace cálculos 

for (int crea = 1; crea < neuronasporcapa.Length; crea++) capas. Add(new Capa(neuronasporcapa[crea], neuronasporcapa[crea-1], azar)); 

} 

} 


El método "creaCapas" recibe tres parámetros: 

totalentradasexternas: Es el número de entradas del exterior al perceptron 

neuronasporcapa: Es un arreglo unidimensional que tiene cuantas neuronas se crearán por cada capa 
azar: El generador de números pseudo-aleatorios. 
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"calculaSalida" evalúa la capa Inicial con las entradas externas al perceptrón, esa capa genera unos resultados que son 
almacenados en un arreglo unidimensional. Posteriormente se toma la segunda capa y se evalúa neurona por neurona 
tomando como entradas lo que produjo la capa inicial. Así sucesivamente. 


class Perceptrón { 

List<Capa> capas; 

//Crea las diversas capas 

public void creaCapas(int totalentradasexternas, int[] neuronasporcapa, Random azar){ 
capas = new List<Capa>( ); 

capas .Add(new Capa(neuronasporcapa[0], totalentradasexternas, azar)); //La primera capa que hace cálculos 

for (int crea = 1; crea < neuronasporcapa.Length; crea++) capas .Add(new Capa(neuronasporcapa[crea], neuronasporcapa[crea-l], azar)); 

} 

//Hace el cálculo 

public void calculaSalida(double[] entradas) 

{ 

//La primera capa recibe las entradas externas 
capas[0].CalculaCapa(entradas); 

//Las siguientes capas, hacen los cálculos usando como entrada la salida de la capa anterior 
for (int cont = 1; cont < capas.Count; cont++) { 

capas[cont].CalculaCapa(capas[cont - 1].salidas); 

} 

} 

} 


Ejemplo de uso de la clase Perceptrón para generar este diseño en particular: 




Capa de 
entrada 





Capa oculta 




Capa de 
salida 


class Program { 

static void Main(string[] args) 

{ 

Random azar = new Random(); //Un solo generador de números pseudo-aleatorios 

Perceptrón perceptrón = new PerceptronQ; 

//Número de neuronas que tendrá cada capa 
int[] neuronasporcapa = new int[3]; 

neuronasporcapa[0] = 4; //La capa inicial tendrá 4 neuronas 

neuronasporcapa[l] = 4; //La segunda capa tendrá 4 neuronas 

neuronasporcapa[2] = 2; //La capa final tendrá 2 neuronas 

//Habrán 2 entradas externas, se envía el arreglo de neuronas por capa y el generador de números pseudo-aleatorios 
perceptron.creaCapas(2, neuronasporcapa, azar); 

//Estas serán las entradas externas al perceptrón 
double[] entradas = new double[2]; 
entradas[0] = 1; 
entradas[l] = 0; 

//Se hace el cálculo 

perceptrón.calculaSalida(entradas); 

Consolé .ReadKey(); 

} 

} _ 

Es en el programa principal que se crea el objeto que genera los números pseudo-aleatorios y se le envía al perceptrón. 


Para mostrar cómo opera el perceptrón se muestra una hoja en Excel 
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Entradas 



Capa 2 

Peso 1 

Peso 2 



Umbral 

Valor 

Salida 

XI 

1 


Neurona 1 

0,47247986 

0,678516118 



0,80741687 

1,2799 

0,782 

X2 

0 


Neurona 2 

0,801949133 

0,779935713 



0,204385216 

1,00633 

0,732 




Neurona 3 

0,184836394 

0,39429444 



0,679925648 

0,86476 

0,704 




Neurona 4 

0,888175346 

0,885816893 



0,744964491 

1,63314 

0,837 















Capa 3 

Peso 1 

Peso 2 

Peso 3 

Peso 4 

Umbral 

Valor 

Salida 




Neurona 1 

0,857642265 

0,48017831 

0,318394323 

0,170780095 

0,192821788 

1,582 

0,830 




Neurona 2 

0,339199577 

0,397973949 

0,102941101 

0,399645193 

0,039451026 

1,003 

0,732 




Neurona 3 

0,815089183 

0,745557561 

0,140308591 

0,816845513 

0,076225015 

2,042 

0,885 




Neurona 4 

0,751872803 

0,543341596 

0,431814902 

0,189449635 

0,496551805 

1,945 

0,875 















Capa 4 

Peso 1 

Peso 2 

Peso 3 

Peso 4 

Umbral 

Valor 

Salida 




Neurona 1 

0,034647338 

0,272564194 

0,046934236 

0,596919764 

0,234838131 

1,027 

0,736 




Neurona 2 

0,897890884 

0,010213592 

0,021097544 

0,229079776 

0,094218275 

1,066 

0,744 


Por dentro está así realizada la hoja electrónica: Los pesos y los umbrales son aleatorios =ALEATORIO() 


_ __ — _Y 

SUMA T X */ fx =ALEATORIO() 



A 

B 

c 

D 

E 

F 

G 

H 


j 

K 

i 

Entradas 



Capa 2 

Peso 1 

Peso 2 

1 

Umbral \ 

Valor 

Salida 

2 

XI 

1 


Neurona 1 

0,47247986 

=ALEATORIO( 

v i 

0,80741687 

1,2799 

0,782 

3 

X2 

0 


Neurona 2 

0,801949133 

0,779935713 

[ l 

1 

0,204385216 

1,00633 

0,732 

4 




Neurona 3 

0,184836394 

0,39429444 


0,679925648 

0,86476 

0,704 

5 




Neurona 4 

0,888175346 

0,885816893 

1 

0,744964491 

1,63314 

0,837 

6 







1 




7 




Capa 3 

Peso 1 

Peso 2 

Peso 3 

Peso 4 

Umbral 

Valor 

Salida 

8 




Neurona 1 

0,857642265 

0,48017831 

0,318394323 

0,170780095 

0,192821788 

1,582 

0,830 

9 




Neurona 2 

0,339199577 

0,397973949 

0,102941101 

0,399645193 

0,039451026 

1,003 

0,732 

10 




Neurona 3 

0,815089183 

0,745557561 

0,140308591 

0,816845513 

0,076225015 

2,042 

0,885 

11 




Neurona 4 

0,751872803 

0,543341596 

0,431814902 

0,189449635 

0,496551805 

1,945 

0,875 

12 







1 




13 




Capa 4 

Peso 1 

Peso 2 

Peso 3 

Peso 4 

Umbral 

Valor 

Salida 

14 




Neurona 1 

0,034647338 

0,272564194 

0,046934236 

0,596919764 

0,234838131 

1,027 

0,736 

15 




Neurona 2 

0,897890884 

0,010213592 

0,021097544 

0,229079776 

0,094218275 

1,066 

0,744 


La columna J con el nombre de valor es el cálculo de las entradas por los pesos adicionándole el umbral 


1 

2 

A 

B 

C D 

E 

F 

G H 

l 

J 

K 

L 

Entradas 

r 


Capa 2 

Peso 1 

Peso 2 


Umbral 

Valor 

Salida 


XI 

i 


Neurona 1 

0,47247986 

0.678516118 


0,80741687 

1,2799 

0^82 

3 

X2 

0 


Neurona 2 

0,8019491331 0,779935713] 

0,204385216 

= EZ:*SBS2+F3*$B$3+I3| 

4 

5 

6 

7 

8 

9 

10 

11 

12 

13 

14 

15 

16 




Neurona 3 

0,184836394 

0,39429444 


0,679925648 

0,86476 

0,704 





Neurona 4 

0,888175346 

0,885816893 


0,744964491 

1,63314 

0,837 















Capa 3 

Peso 1 

Peso 2 

Peso 3 ¡Peso 4 

Umbral 

Valor 

Salida 




Neurona 1 

0,857642265 

0,48017831 

0,318394323 0,170780095 

0,192821788 

1,582 

0,830 




Neurona 2 

0,339199577 

0,397973949 

0,102941101 0,399645193 

0,039451026 

1,003 

0,732 




Neurona 3 

0,815089183 

0,745557561 

0,140308591 0,816845513 

0,076225015 

2,042 

0,885 




Neurona 4 

0,751872803 

0,543341596 

0,431814902 0,189449635 

0,496551805 

1,945 

0,875 














Capa 4 

Peso 1 

Peso 2 

Peso 3 ¡Peso 4 

Umbral 

Valor 

Salida 




Neurona 1 

0,034647338 

0,272564194 

0,046934236 0,596919764 

0,234838131 

1,027 

0,736 




Neurona 2 

0,897890884 

0,010213592 

0,021097544 0,229079776 

0,094218275 

1,066 

0,744 







I III ! 1 i I 

La columna K con el nombre de la salida es el cálculo de la función sigmoidea de la neurona 



ABC D E F G H 1 J 

K 

L 

1 

2 

3 

4 

5 

6 

7 

8 

9 

10 

11 

12 

13 

14 

15 

Entradas 



Capa 2 

Peso 1 

Peso 2 


Umbral 

Valor 

Salida 


XI 

1 


Neurona 1 

0,47247986 

0,678516118 

1 

0,80741687 

1,2799 

0,782 

X2 

0 


Neurona 2 

0,801949133 

0,779935713 

1 

0,204385216 

1,00633 

0.732 




Neurona 3 

0,184836394 

0,39429444 


0,679925648 

0,86476 

= 1/(1+EXP(-J4))| 




Neurona 4 

0,888175346 

0,885816893 


0,744964491 

1,63314 

0,837 















Capa 3 

Peso 1 

Peso 2 

Peso 3 Peso 4 

Umbral 

Valor 

Salida 




Neurona 1 

0,857642265 

0,48017831 

0,318394323 0,170780095 

0,192821788 

1,582 

0,830 




Neurona 2 

0,339199577 

0,397973949 

0,102941101 0,399645193 

0,039451026 

1,003 

0,732 





Neurona 3 

0,815089183 

0,745557561 

0,140308591 0,816845513 

0,076225015 

2,042 

0,885 




Neurona 4 

0,751872803 

0,543341596 

0,431814902 0,189449635 

0,496551805 

1,945 

0,875 















Capa 4 

Peso 1 

Peso 2 

Peso 3 Peso 4 

Umbral 

Valor 

Salida 




Neurona 1 

0,034647338 

0,272564194 

0,046934236 0,596919764 

0,234838131 

1,027 

0,736 




Neurona 2 

0,897890884 

0,010213592 

0,021097544 0,229079776 

0,094218275 

1,066 

0,744 


16 
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Observamos que en la Capa 3 que el valor (columna J) se calcula con la salida de la Capa 2 


A 

B 

C 

D 

E 

F 

G 

H 

i 

J 

K 

L 

M N 

i Entradas 



Capa 2 

Peso 1 

Peso 2 

1 

1 

Umbral 

Valor 

Salida 

1 

2 XI 

1 


Neurona 1 

0,47247986 

0,678516118 

1 

1 

0,80741687 

1,2799 

0,782 


1 

3 X2 

0 


Neurona 2 

0,801949133 

0,779935713 

1 

1 

0,204385216 

1,00633 

0,7321 

1 

1 

4 r 



Neurona 3 

0,184836394 

0,39429444 

1 

0,679925648 

0,86476 

0.7041 

5 r 



Neurona 4 

0,888175346 

0,885816893 


0,744964491 

1,63314 

0,837] 

1 

1 

6 [ 











1 

1 

7 r 



Capa 3 

Peso 1 

Peso 2 

Peso 3 

Peso 4 

Umbral 

Valor 

Salida 


1 

1 

8 



Neurona 1 

0,857642265 

0.48017831 

0.318394323 

0,170780095 

0,192821788 

1.582 

0,830 


1 

1 

9 



Neurona 2 

0,339199577 

0,397973949 

0,102941101 

0,399645193 

0,039451026 

= $1 ;2*E9+$K$3*F9+$K$4*G9+$K$5*H9+I9| 

10 



Neurona 3 

0,815089183 

0,745557561 

0,140308591 

0,816845513 

0,076225015 

2,042 

0,885 


1 

11 1 



Neurona 4 

0,751872803 

0,543341596 

0,431814902 

0,189449635 

0,496551805 

1,945 

0,875 


1 

1 

12 r 











1 

13 



Capa 4 

Peso 1 

Peso 2 

Peso 3 

Peso 4 

Umbral 

Valor 

Salida 


1 

1 

14 C 



Neurona 1 

0,034647338 

0,272564194 

0,046934236 

0,596919764 

0,234838131 

1,027 

0,736 


1 

15 r 



Neurona 2 

0,897890884 

0,010213592 

0,021097544 

0,229079776 

0,094218275 

1,066 

0,744 


1 

1 

i6 r 





1 

1 

17J_ 1_1_ 





1 

1 

-1-1- 


Observamos que en la Capa 4 que el valor (columna J) se calcula con la salida de la Capa 3 



A 

B 

c 

D 

E 

F 

G 

H 

i 

J 

K 

L M N O 

1 

Entradas 



Capa 2 

Peso 1 

Peso 2 

1 

1 

Umbral 

Valor 

Salida 

1 

1 

2 

XI 

1 


Neurona 1 

0,47247986 

0,678516118 

1 

1 

0,80741687 

1,2799 

0,782 

1 

3 

X2 

0 


Neurona 2 

0,801949133 

0,779935713 

1 

1 

0,204385216 

1,00633 

0,732 

1 

1 

4 




Neurona 3 

0,184836394 

0,39429444 

1 

1 

0,679925648 

0,86476 

0,704 

1 

5 




Neurona 4 

0,888175346 

0,885816893 

1 

0,744964491 

1,63314 

0,837 

1 

1 

6 











1 

7 




Capa 3 

Peso 1 

Peso 2 

Peso 3 

Peso 4 

Umbral 

Valor 

Salida 

1 

1 

8 




Neurona 1 

0,857642265 

0,48017831 

0,318394323 

0,170780095 

0,192821788 

1,582 

0.830 

1 

9 




Neurona 2 

0,339199577 

0,397973949 

0,102941101 

0,399645193 

0,039451026 

1,003 

0,732' 


10 




Neurona 3 

0,815089183 

0,745557561 

0,140308591 

0,816845513 

0,076225015 

2,042 

0,885' 

1 

11 




Neurona 4 

0,751872803 

0,543341596 

0,431814902 

0,189449635 

0,496551805 

1,945 

0,875' 

1 

12 











1 

1 

13 




Capa 4 

Peso 1 

Peso 2 

Peso 3 

Peso 4 

Umbral 

Valor 

Salida 

1 

1 

14 




Neurona 1 

0,034647338 

0,272564194 

0,046934236 

0,596919764 

0,234838131 

=$KS8*E14+SKS9* 

F14+$K$10*G14+$K$11*H 14+I14| 

15 




Neurona 2 

0,897890884 

0,010213592 

0,021097544 

0,229079776 

0,094218275 

1,066 

0,744 

16 







1 

_ 1 _ 

1 
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Se modifica el código en C# para que muestre paso a paso como hace los cálculos por capa y por neurona. Este sería el 
código completo: 


using System; 

using System.Collections.Generic; 

namespace PerceptronMultiCapa { 
class Neurona { 

prívate double[] pesos; //Los pesos para cada entrada 
prívate double umbral; 

public Neurona(Random azar, int TotalEntradas) { //Constructor 
pesos = new double[TotalEntradas]; 

for (int cont=0; cont < TotalEntradas; cont++) pesos[cont] = azar.NextDoubleQ; 
umbral = azar.NextDoubleQ; 

} 

public double calculaSalida(double[] entradas){ //Calcula la salida de la neurona 
ImprimePesosUmbral(); 
double valor = 0; 

for (int cont = 0; cont < pesos.Length; cont++) valor += entradas[cont] * pesos[cont]; 
valor += umbral; 

return 1 / (1 + Math.Exp(-valor)); //Función sigmoidea 

} 

public void ImprimePesosUmbral(){ 

Consolé .Write( "\nPesos : "); 

for (int cont = 0; cont < pesos.Length; cont++) Consolé. Write("{0:F4}; ", pesos[cont]); 

Consolé .Write( " Umbral: {0:F4}", umbral); 

} 

} 

class Capa { 

List<Neurona> neuronas; 
public double[] salidas; 

public Capa(int totalNeuronas, int totalEntradas, Random azar){ //Constructor 
neuronas = new List<Neurona>( ); 

for (int genera = 1; genera <= totalNeuronas; genera++) neuronas .Add(new Neurona(azar, totalEntradas)); 
salidas = new double[totalNeuronas] ; 

} 

public void CalculaCapa(double[] entradas){ //Calcula las salidas de la capa 
Consolé. Write("Entra: "); 

for (int cont2 = 0; cont2 < entradas.Length; cont2++) Consolé. Write("{0:F4}; ", entradas[cont2]); 

for (int cont = 0; cont < neuronas.Count; cont++) salidas[cont] = neuronas[cont].calculaSalida(entradas); 

Consolé .WriteLine( " "); 

Consolé .Write( "Salir: "); 

for (int cont2 = 0; cont2 < salidas.Length; cont2++) Consolé. Write("{0:F4}; ", salidas[cont2]); 

Consolé .WriteLine( " "); 

} 

} 

class Perceptron { 

List<Capa> capas; 

//Crea las diversas capas 

public void creaCapas(int totalentradasexternas, int[] neuronasporcapa, Random azar){ 
capas = new List<Capa>( ); 

capas .Add(new Capa(neuronasporcapa[0], totalentradasexternas, azar)); //La primera capa que hace cálculos 

for (int crea = 1; crea < neuronasporcapa.Length; crea++) capas .Add(new Capa(neuronasporcapa[crea], neuronasporcapa[crea-l], azar)); 

} 

//Hace el cálculo 

public void calculaSalida(double[] entradas) 

{ 

//La primera capa recibe las entradas externas 

Consolé .WriteLine( "============================ Capa 2 ============================ "); 

capas[0].CalculaCapa(entradas); 

//Las siguientes capas, hacen los cálculos usando como entrada la salida de la capa anterior 
for (int cont = 1; cont < capas.Count; cont++) { 

Consolé. WriteLine( "============================ Capa " + (cont+2).ToStringQ + " ============================ "); 

capas[cont].CalculaCapa(capas[cont - 1].salidas); 

} 

} 

} 

class Program { 

static void Main(string[] args) 

{ 

Random azar = new RandomQ; //Un solo generador de números pseudo-aleatorios 
Perceptron perceptron = new PerceptronQ; 

//Número de neuronas que tendrá cada capa 
int[] neuronasporcapa = new int[3]; 

neuronasporcapa[0] = 4; //La capa inicial tendrá 4 neuronas 

neuronasporcapa[l] = 4; //La segunda capa tendrá 4 neuronas 

neuronasporcapa[2] = 2; //La capa final tendrá 2 neuronas 

//Habrán 2 entradas externas, se envía el arreglo de neuronas por capa y el generador de números pseudo-aleatorios 
perceptron.creaCapas(2, neuronasporcapa, azar); 

//Estas serán las entradas externas al perceptron 
double[] entradas = new double[2]; 
entradas[0] = 1; 
entradas[l] = 0; 


Rafael Alberto Moreno Parra 


64 











//Se hace el cálculo 

perceptron.caleulaSalida(entradas); 


} 


} 


Consolé .ReadKey(); 

} 


Ejemplo de ejecución 


■ file///C:/Users/eng¡n/onedrive/documentos/visual studio 2015/Projects/RedNeuronal/RedNeuronal/bin/Debug/RedNeuronal.EXE 


□ X 


Capa 2 


Entra : 
Pesos : 
Pesos : 
Pesos : 
Pesos : 
Salir: 


1 , 0000 ; 

0,9123; 

0,6570; 

0,7321; 

0,0836; 

0,8507; 


0 , 0000 ; 

0,3673; 

0,7744; 

0,0866; 

0,1081; 

0,8057; 


Entra: 0,8507; 0,8057; 
Pesos: 0,8175; 0,0565; 
Pesos: 0,3356; 0,8859; 
Pesos: 0,2560; 0,7488; 


Umbral: 0,8274 
Umbral: 0,7652 
Umbral: 0,3804 
Umbral: 0,2376 
0,7526; 0,5796; 
:===== Capa 3 == 
0,7526; 0,5796; 
0,6797; 0,1879; 
0,1251; 0,0257; 
0,3905; 0,1533; 


Pesos: 0,9230; 0,7901; 0,1115; 0,1521; 
Salir: 0,8173; 0,8633; 0,8280; 0,9114; 
============================ Capa 4 = 

Entra: 0,8173; 0,8633; 0,8280; 0,9114; 
Pesos: 0,3810; 0,9489; 0,8371; 0,7926; 
Pesos: 0,7818; 0,1284; 0,5702; 0,1797; 
Salir: 0,9517; 0,8875; 


Umbral: 0,1368 
Umbral: 0,7347 
Umbral: 0,3677 
Umbral: 0,7371 


Umbral: 0,4356 
Umbral: 0,6798 


A 


Comparando con la hoja de cálculo (se copian los valores de pesos y umbrales) 


Entradas 



Capa 2 

Peso 1 

Peso 2 



Umbral 

Valor 

Salida 

XI 

1 


Neurona 1 

0,9123 

0,3673 



0,8274 

1,7397 

0,8506 

X2 

0 


Neurona 2 

0,657 

0,7744 



0,7652 

1,4222 

0,8057 




Neurona 3 

0,7321 

0,0866 



0,3804 

1,1125 

0,7526 




Neurona 4 

0,0836 

0,1081 



0,2376 

0,3212 

0,5796 















Capa 3 

Peso 1 

Peso 2 

Peso 3 

Peso 4 

Umbral 

Valor 

Salida 




Neurona 1 

0,8175 

0,0565 

0,6797 

0,1879 

0,1368 

1,498 

0,8173 




Neurona 2 

0,3356 

0,8859 

0,1251 

0,0257 

0,7347 

1,843 

0,8633 




Neurona 3 

0,256 

0,7488 

0,3905 

0,1533 

0,3677 

1,572 

0,8280 




Neurona 4 

0,923 

0,7901 

0,1115 

0,1521 

0,7371 

2,331 

0,9114 















Capa 4 

Peso 1 

Peso 2 

Peso 3 

Peso 4 

Umbral 

Valor 

Salida 




Neurona 1 

0,381 

0,9489 

0,8371 

0,7926 

0,4356 

2,982 

0,9517 




Neurona 2 

0,7818 

0,1284 

0,5702 

0,1797 

0,6798 

2,066 

0,8875 


Nota: en el programa en C# los valores están formateados para mostrar 4 decimales, pero internamente el cálculo se hace 
con todos los decimales. Por eso hay una ligera variación en la primera salida de la capa 1 de Excel con el de C#. Salvo eso, 
las salidas coinciden. 
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Mejorando la ¡mplementación en C# 


Mientras implementaba el algoritmo me percaté de un problema que inicia siendo molesto y termina confundiendo. En las 
páginas anteriores se hace la deducción matemática de las fórmulas y se considera que las capas se enumeran desde 1 hasta 
4. Allí tenemos un inconveniente con C#, porque al crear las capas, estas inician con el índice cero. Y no solo eso, la Capa 1 es 
una capa que no hace ningún tratamiento matemático, es una capa comodín para mencionar las entradas externas al perceptrón. 
Por esta razón tampoco se crea esta capa en C#. Entonces al mencionar la capa 4, en el código en C# sería capa[2]. 

Problema similar con las neuronas, que al ir en listas, inician con el índice cero. Luego nombrar los pesos y umbrales se torna 

( 2 ) 

en una labor de traducción a C# no intuitiva. ¿Cómo referirse a 3 ? En la ¡mplementación en C# es 
perceptrón. capa [0]. neurona [0].peso[2] 

Para hacer más intuitivo el código en C# y coincida con lo expuesto en las fórmulas matemáticas, los índices iniciarán en 1, las 
capas se numerarán desde la 1 (así no tenga procesamiento esta capa en particular) y se hará uso de matrices y vectores. Este 
es el nuevo código: 


using System; 

namespace RedNeuronal2 { 
class Program { 

static void Main(string[] args) 

{ 

//Los pesos serán arreglos multidimensionales (3 dimensiones). Así: W[capa, neurona inicial, neurona final] 
double[,,] W; 

//Las salidas de cada neurona serán arreglos bidimensionales. Así: A[capa, neurona que produce la salida] 
double[,] A; 

//Los umbrales de cada neurona serán arreglos bidimensionales. Así: U[capa, neurona que produce la salida] 
double[,] U; 

//Las entradas al perceptrón 
int TotalEntradasExternas = 2; 

double[] E = new double[TotalEntradasExternas+l] ; 

E [ 1 ] = i; 

E [ 2 ] = 0; 

int TotalCapas = 4; //Total capas que tendrá el perceptrón 

int[] neuronasporcapa = new int[TotalCapas+l] ; //Los índices iniciarán en 1 en esta implementación 
neuronasporcapa[l] = TotalEntradasExternas; //Entradas externas del perceptrón 
neuronasporcapa[2] = 4; //Capa oculta con 4 neuronas 
neuronasporcapa[3] = 4; //Capa oculta con 4 neuronas 
neuronasporcapa[4] = 2; //Capa de salida con 2 neuronas 

//Detecta el máximo número de neuronas por capa para dimensionar los arreglos 
int maxNeuronas = 0; 

for (int capa = 1; capa <= TotalCapas; capa++) if (neuronasporcapa[capa] > maxNeuronas) maxNeuronas = neuronasporcapa[capa]; 

W = new double[TotalCapas + 1, maxNeuronas + 1, maxNeuronas + 1]; 

A = new double[TotalCapas + 1, maxNeuronas + 1]; 

ü = new double[TotalCapas + 1, maxNeuronas + 1]; 

//Entradas del perceptrón pasan a la salida de la primera capa 

for (int cont = 1; cont <= TotalEntradasExternas; cont++) A[l, cont] = E[cont]; 

//Da valores aleatorios a pesos y umbrales 
Random azar = new Random(10); 

for (int capa = 1; capa <= TotalCapas; capa++) 
for (int i = 1; i <= maxNeuronas; i++) 

for (int j = 1; j <= maxNeuronas; j++){ 

W[capa, i, j] = azar.NextDouble(); 

Consolé .WriteLine( "W[" + capa.ToString() + + i.ToString() + + j.ToString() + "]=" + W[capa, i, j].ToString()); 

} 

for (int capa = 1; capa <= TotalCapas; capa++) 

for (int neurona = 1; neurona <= maxNeuronas; neurona++){ 

U[capa, neurona] = azar.NextDoubleQ; 

Consolé. WriteLine("U[" + capa.ToStringO + + neurona.ToString() + "]=" + U[capa, neurona].ToStringO); 

} 

//Procesando 

Consolé .WriteLine( "Procesando: "); 

for (int capa = 2; capa <= TotalCapas; capa++) 

for (int cont = 1; cont <= neuronasporcapa[capa]; cont++) { 

A[capa, cont] = 0; 

for (int entra = 1; entra <= neuronasporcapa[capa-l]; entra++) //La capa anterior 
A[capa, cont] += A[capa-1, entra] * W[capa-1, entra, cont]; 

A[capa, cont] += U[capa, cont]; 

A[capa, cont] = 1 / (1 + Math.Exp(-A[capa, cont])); 

} 

Consolé .WriteLine(A[2, 1] .ToStringO + " ; " + A[2, 2] .ToStringO + " ; " + A[2, 3] .ToStringO + " ; " + A[2, 4] .ToStringO + " ; "); 

Consolé .WriteLine(A[3, 1].ToStringO + " ; " + A[3, 2] .ToStringO + " ; " + A[3, 3] .ToStringO + " ; " + A[3, 4] .ToStringO + " ; "); 

Consolé .WriteLine(A[4, 1].ToStringO + " ; " + A[4, 2] .ToStringO); 

Consolé .ReadKey(); 

} 

} 

} 
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Algoritmo de retro propagación en C# 


Las fórmulas del algoritmo de retro propagación son: 

dError ^ 


= a) * (y, - 50 * y ¿ * (1 - y ¿ ) 




Y 


(3) (3) ^ 

W- ■ W- ■ — OC* 

7,i 7,i 


dError 


Se ¡mplementa así: 


//Salidas esperadas 
double[] S = new double[3]; 

S[l] = 0; 

S[2] = 1; 

//Factor de aprendizaje 
double alpha = 0.4; 

//Procesa capa 4 

for (int j=l; j <= neuronasporcapa[3]; j++) 

for (int i=l; i <= neuronasporcapa[4]; i++) 

{ 

double Yi = A[4j i]; 

double dE3 = A[3, j] * (Yi - S[i]) * Yi * (1 - Yi); 

Consolé. WriteLine("dError/dW(3)" + j.ToStringQ + + i.ToStringQ + " = " + dE3. ToString()); 

double nuevoPeso = W[3j j, i] - alpha * dE3; 

Consolé .WriteLine( "W(3)" + j.ToStringQ + + i.ToStringQ + " = " + nuevoPeso.ToStringQ); 

} 


La capa anterior 


dError 


(2) (3) í. 

= a) * a y * (1 


Y 


( 2 ) ( 2 ) _ 

W- , W- , —OC* 

J,k vv ],k 


dError 


dw, 


( 2 ) 


j,k 


n 4 

a®) * X (wfc 3 ? * (y¡ “ SO * y¡ * (1 - yo) 

Í = 1 


Se ¡mplementa así: 


//Procesa capa 3 

for (int j = 1; j <= neuronasporcapa[2]; j++) 

for (int k = 1; k <= neuronasporcapa[3]; l<++) 

{ 

double acum = 0; 

for (int i = 1; i <= neuronasporcapa[4]; i++) 

{ 

double Yi = A[4j i]; 

acum += W[3j k, i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

double dE2 = A[2j j] * A[3, k] * (1 - A[3, k]) * acum; 

Consolé .WriteLine( "dError/dW(2)" + j.ToStringQ + + k.ToStringQ + " = " + dE2.ToStringQ); 

double nuevoPeso = W[2, j, k] - alpha * dE2; 

Consolé .WriteLine( "W(2)" + j.ToStringQ + + k.ToStringQ + " = " + nuevoPeso.ToStringQ); 
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La capa anterior 


dError 


Y 


n 3 


= x ¡ * 4 2) * (i - 4 2) ) * Yj 


p =i 


n 4 


(2) (3) 

<p * s * 


(i - a®) * ^ (w® * (y¡ - Si) * y¡ * (1 - y¡)) 


1 = 1 


m m dError 

W-, W- I — OC*- 


Se implementa así: 


//Procesa capa 2 

for (int j = 1; j <= neuronasporcapa[1]; j++) 

for (int k = 1) k <= neuronasporcapa[2]; l<++) 
{ 


double acumular = 0; 

for (int p = 1; p <= neuronasporcapa[3]; p++) 

{ 

double acum = 0; 

for (int i = 1) i <= neuronasporcapa[4]; i++) 

{ 

double Yi = A[4j i]; 

acum += W[3j p , i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

acumular += W[2, k, p] * A[3j p] * (1 - A[3, p]) * acum; 

} 

double dEl = E[j] * A[2, k] * (1 - A[2, k]) * acumular; 

Consolé .WriteLine( M dError/dW(l)" + j.ToStringQ + + k.ToStringQ + " = " + dEl. ToString()); 

double nuevoPeso = W[l, j , k] - alpha * dEl; 

Consolé .WriteLine( "W(l)" + j.ToString() + + k.ToString() + " = " + nuevoPeso. ToStringQ); 
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Para los umbrales 


dError 


du) 


(4) 


= (y¡-s í )*y i *(i-y i ) 


(4) (4) 

U[ J <r- U¡ -0C* 


dError 


du) 


(4) 


//Ajusta umbrales capa 4 

for (int i = 1; i <= neuronasporcapa[4]; i++) 

{ 

double Yi = A[4j i]; 

double dE4 = (Yi - S[i]) * Yi * (1 - Yi); 
double nuevollmbral = U[4j i] - alpha * dE4; 

} 


dError 


n 4 


du 


(3) 

k 


a® * (l - a®) * V (wff * ( y¿ - 5¿) * y¡ * (1 


Í = 1 



(3) (3) ^ 

u k u k —oc * 


dError 


du 


(3) 

k 


//Ajusta umbrales capa 3 

for (int k = 1; k <= neuronasporcapa[3]; k++) 

{ 

double acum = 0; 

for (int i = 1; i <= neuronasporcapa[4]; i++) 

{ 

double Yi = A[4j i]; 

acum += W[3j kj i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

double dE3 = A[3, k] * (1 - A[3, k]) * acum; 
double nuevollmbral = U[3j k] - alpha * dE3; 


dError 


n 3 


du 


( 2 ) 

k 


4 2) * (i - 4 2) ) * Yj 


p= i 


n 4 


( 2 ) 

W, * 

k,p 


a® * (l - a®) * V (w® * (y t - 5¡) * y¡ * (1 


Í = 1 



i¿® <- djp—oc* 


dError 


du 


( 2 ) 

k 


//Ajusta umbrales capa 2 

for (int k = 1; k <= neuronasporcapa[2]; k++) 

{ 

double acumular = 0; 

for (int p = 1; p <= neuronasporcapa[3]; p++) 

{ 

double acum = 0; 

for (int i = 1; i <= neuronasporcapa[4]; i++) 

{ 

double Yi = A[4, i]; 

acum += W[3j p , i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

acumular += W[2, k., p] * A[3, p] * (1 - A[3, p]) * acum; 

} 

double dE2 = A[2, k] * (1 - A[2j k]) * acumular; 
double nuevollmbral = U[2, k] - alpha * dE2; 
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Código del perceptrón en una clase implementado en C# 


A continuación se muestra el código completo en el que se ha creado una clase que implementa el perceptrón (creación, 
proceso, entrenamiento) y en la clase principal se pone como datos de prueba la tabla del XOR que el perceptrón debe 
aprender. 


using System; 

namespace RedNeuronal3 { 

//La clase que implementa el perceptrón 
class Perceptrón { 

private double[,,] W; //Los pesos serán arreglos multidimensionales. Así: W[capa, neurona inicial, neurona final] 

prívate double[,] U; //Los umbrales de cada neurona serán arreglos bidimensionales. Así: U[capa, neurona que produce la salida] 

double[,] A; //Las salidas de cada neurona serán arreglos bidimensionales. Así: A[capa, neurona que produce la salida] 

private double[,,] WN; //Los nuevos pesos serán arreglos multidimensionales. Así: W[capa, neurona inicial, neurona final] 

private double[,] UN; //Los nuevos umbrales de cada neurona serán arreglos bidimensionales. Así: U[capa, neurona que produce la salida] 

private int TotalCapas; //El total de capas que tendrá el perceptrón incluyendo la capa de entrada 
private int[] neuronasporcapa; //Cuantas neuronas habrá en cada capa 
private int TotalEntradas; //Total de entradas externas del perceptrón 
private int TotalSalidas; //Total salidas externas del perceptrón 

public Perceptron(int TotalEntradas, int TotalSalidas, int TotalCapas, int[] neuronasporcapa) { 
this .TotalEntradas = TotalEntradas; 
this .TotalSalidas = TotalSalidas; 
this .TotalCapas = TotalCapas; 

int maxNeuronas = 0; //Detecta el máximo número de neuronas por capa para dimensionar los arreglos 
this .neuronasporcapa = new int[TotalCapas + 1]; 
for (int capa = 1; capa <= TotalCapas; capa++) { 

this .neuronasporcapa[capa] = neuronasporcapa[capa]; 

if (neuronasporcapa[capa] > maxNeuronas) maxNeuronas = neuronasporcapa[capa]; 

} 


//Dimensiona con el máximo valor 

W = new double[TotalCapas + 1, maxNeuronas + 1, maxNeuronas + 1]; 

U = new double[TotalCapas + 1, maxNeuronas + 1]; 

WN = new double[TotalCapas + 1, maxNeuronas + 1, maxNeuronas + 1]; 
UN = new double[TotalCapas + 1, maxNeuronas + 1]; 

A = new double[TotalCapas + 1, maxNeuronas + 1]; 

//Da valores aleatorios a pesos y umbrales 
Random azar = new Random(); 

for (int capa = 2; capa <= TotalCapas; capa++) 

for (int i = 1; i <= neuronasporcapa[capa]; i++) 

U[capa, i] = azar.NextDouble(); 


} 


for (int capa = 1; capa < TotalCapas; capa++) 

for (int i = 1; i <= neuronasporcapa[capa]; i++) 

for (int j = 1; j <= neuronasporcapa[capa+1]; j++) 
W[capa, i, j] = azar.NextDouble(); 


public void Procesa(double[] E) { 

//Entradas externas del perceptrón pasan a la salida de la primera capa 
for (int copia = 1; copia <= TotalEntradas; copia++) A[l, copia] = E[copia]; 


//Proceso del perceptrón 

for (int capa = 2; capa <= TotalCapas; capa++) 

for (int neurona = 1; neurona <= neuronasporcapa[capa]; neurona++) { 

A[capa, neurona] = 0; 

for (int entra = 1; entra <= neuronasporcapa[capa - 1]; entra++) 

A[capa, neurona] += A[capa - 1, entra] * W[capa - 1, entra, neurona]; 
A[capa, neurona] += U[capa, neurona]; 

A[capa, neurona] = 1 / (1 + Math .Exp(-A[capa, neurona])); 

} 

} 


// Muestra las entradas externas del perceptrón, las salidas esperadas y las salidas reales 
public void Muestra(double[] E, double[] S) { 

for (int cont = 1; cont <= TotalEntradas; cont++) Consolé. Write(E[cont] + ","); Consolé .Write( " = "); 

for (int cont = 1; cont <= TotalSalidas; cont++) Consolé. Write(S[cont] + ","); Consolé. Write(" <vs> "); 

for (int cont = 1; cont <= TotalSalidas; cont++) //Salidas reales del perceptrón 

if (A[TotalCapas, cont] > 0.5) //El umbral: Mayor de 0.5 es 1, de lo contrario es cero 
Consolé .Write( "1, " + A[TotalCapas, cont]); //Salida binaria y salida real 

else 

Consolé .Write( "0, " + A[TotalCapas, cont]); 

Consolé. WriteLine(" "); 

} 


//El entrenamiento es ajustar los pesos y umbrales 
public void Entrena(double alpha, double[] E, double[] S) { 

//Ajusta pesos capa3 ==> capa4 

for (int j = 1; j <= neuronasporcapa[3]; j++) 

for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4, i]; 

double dE3 = A[3, j] * (Yi - S[i]) * Yi * (1 - Yi); 

WN[3, j, i] = W[3, j, i] - alpha * dE3; //Nuevo peso se guarda temporalmente 

} 


//Ajusta pesos capa2 ==> capa3 
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for (int j = 1; j <= neuronasporcapa[2]; j++) 

for (int k = 1; k <= neuronasporcapa[3]; k++) { 
double acum = 0; 

for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4j i]; 

acum += W[3, k, i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

double dE2 = A[2, j] * A[3, k] * (1 - A[3, k]) * acum; 

WN [ 2, j, k] = W[2, jj k] - alpha * dE2; //Nuevo peso se guarda temporalmente 

} 

//Ajusta pesos capal ==> capa2 

for (int j = 1; j <= neuronasporcapa[l]; j++) 

for (int k = 1; k <= neuronasporcapa[2]; k++) { 
double acumular = 0; 

for (int p = 1; p <= neuronasporcapa[3]; p++) { 
double acum = 0; 

for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4j i]; 

acum += W[3, p, i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

acumular += W[2, k, p] * A[3, p] * (1 - A[3, p]) * acum; 

} 

double dEl = E[j] * A[2, k] * (1 - A[2, k]) * acumular; 

WN[1j j, k] = W[l, j, k] - alpha * dEl; //Nuevo peso se guarda temporalmente 

} .. 

//Ajusta umbrales de neuronas de la capa 4 
for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4j i]; 

double dE4 = (Yi - S[i]) * Yi * (1 - Yi); 

UN [4, i] = U[4j i] - alpha * dE4; //Nuevo umbral se guarda temporalmente 

} 

//Ajusta umbrales de neuronas de la capa 3 
for (int k = 1; k <= neuronasporcapa[3]; k++) { 
double acum = 0; 

for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4j i]; 

acum += W[3, k, i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

double dE3 = A[3, k] * (1 - A[3, k]) * acum; 

UN[3j k] = U[3, k] - alpha * dE3; //Nuevo umbral se guarda temporalmente 

} 

//Ajusta umbrales de neuronas de la capa 2 
for (int k = 1; k <= neuronasporcapa[2]; k++) { 
double acumular = 0; 

for (int p = 1; p <= neuronasporcapa[3]; p++) { 
double acum = 0; 

for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4j i]; 

acum += W[3j p, i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

acumular += W[2, k, p] * A[3, p] * (1 - A[3, p]) * acum; 

} 

double dE2 = A[2, k] * (1 - A[2, k]) * acumular; 

UN[2j k] = U[2, k] - alpha * dE2; //Nuevo umbral se guarda temporalmente 

} 


//Copia los nuevos pesos y umbrales a los pesos y umbrales respectivos del perceptrón 
for (int capa = 2; capa <= TotalCapas; capa++) 

for (int i = 1; i <= neuronasporcapa[capa]; i++) 

U[capa, i] = UN[capa, i]; 


} 


} 


for (int capa = 1; capa < TotalCapas; capa++) 

for (int i = 1; i <= neuronasporcapa[capa]; i++) 

for (int j = 1; j <= neuronasporcapa[capa + 1]; j++) 
W[capa, i, j] = WN[capa, i, j]; 


class Program { 

static void Main( string[ ] args) 

{ 

int TotalEntradas = 2; //Número de entradas externas del perceptrón 
int TotalSalidas = 1; //Número de salidas externas del perceptrón 
int TotalCapas = 4; //Total capas que tendrá el perceptrón 

int[] neuronasporcapa = new int[TotalCapas + 1]; //Los índices iniciarán en 1 en esta implementación 

neuronasporcapa[l] = TotalEntradas; //Entradas externas del perceptrón 

neuronasporcapa[2] = 4; //Capa oculta con 4 neuronas 

neuronasporcapa[3] = 4; //Capa oculta con 4 neuronas 

neuronasporcapa[4] = TotalSalidas; //Capa de salida con 2 neuronas 


Perceptrón objP = new Perceptron(TotalEntradas, TotalSalidas, TotalCapas, neuronasporcapa); 


/* Tabla del XOR. Son 4 conjuntos de entradas y salidas 

1 . 1 ===> 0 

1 . 0 ===> 1 

0 . 1 ===> 1 

0 . 0 ===> 0 */ 

int ConjuntoEntradas = 4; 

double[][] entraXOR = new double[ConjuntoEntradas+l][]; 

entraXOR[l] = new double[3]; 

entraX0R[2] = new double[3]; 

entraX0R[3] = new double[3]; 

entraX0R[4] = new double[3]; 

entraXOR[l][1] = 1; entraX0R[2][1] = 1; entraX0R[3][1] = 0; entraX0R[4][1] = 0; 
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entraXOR[l][2] = 1; entraX0R[2][2] = 0; entraX0R[3][2] = 1; entraX0R[4][2] = 0; 

double[][] salinXOR = new double[ConjuntoEntradas+l][]; 

salirXOR[l] = new double[3]; 

salirXOR[2] = new double[3]; 

salirXOR[3] = new double[3]; 

salirX0R[4] = new double[3]; 

salirXOR[l][1] = 0; salinX0R[2][1] = lj salirX0R[3][1] = 1; salirX0R[4][1] = 0; 

double alpha = 0.4; //Factor de aprendizaje 

//Ciclo que entrena la red neuronal 

for (int ciclo = 1; ciclo <= 8000; ciclo++) { 

if (ciclo % 500 == 0) Consolé. WriteLine("Iteracion: " + ciclo); 

//Importante: Se envía el primer conjunto de entradas-salidas, luego el segundo, tercero y cuarto 
//por cada ciclo de entrenamiento. 

for (int entra = 1; entra <= ConjuntoEntradas; entra++) { 
objP.Procesa(entraXOR[entra]); 

if (ciclo % 500 == 0) objP.Muestra(entraXOR[entra], salirXOR[entra]); 
objP.Entrena(alpha, entraXOR[entra], salirXOR[entra]); 

} 

} 

Consolé .ReadKey(); 

} 

} 

} 


Ejemplo de ejecución 


file///C:/Users/engin/OneDrive/Documentos/Visual Studio 2015/Projects/RedNeuronal3/RedNeuronal3/bin/Debug/RedNeuronal3.EXE 


X 


Iteración 

S00 



1,1, 

= 0, 

<vs> 

1, 

0,501368977621328 

1,0, 

= 1, 

<vs> 

0, 

0,468664650629771 

0,1, 

= 1, 

<vs> 

1, 

0,501195550445656 

0,0, 

= 0, 

<vs> 

1, 

0,529424467005851 

Iteración 

1000 


1,1, 

= 0, 

<vs> 

1, 

0,500619150537241 

1,0, 

= 1, 

<vs> 

0, 

0,477788581256291 

0,1, 

= 1, 

<vs> 

1, 

0,500252266838435 

0,0, 

= 0, 

<vs> 

1, 

0,520083856761412 

Iteración 

1500 


1,1, 

= 0, 

<vs> 

0, 

0,499976235615496 

1,0, 

= 1, 

<vs> 

0, 

0,48222873747768 

0,1, 

= 1, 

<vs> 

1, 

0,500033719491311 

0,0, 

= 0, 

<vs> 

1, 

0,516474130070833 

Iteración 

2000 


1,1, 

= 0, 

<vs> 

1, 

0,500236498154176 

1,0, 

= 1, 

<vs> 

0, 

0,484192922453521 

0,1, 

= 1, 

<vs> 

1, 

0,500041081675172 

0,0, 

= 0, 

<vs> 

1, 

0,514461996246876 

Iteración 

2500 


1,1, 

= 0, 

<vs> 

1, 

0,501060813275512 

1,0, 

= 1, 

<vs> 

0, 

0,485199152224443 

0,1, 

= 1, 

<vs> 

1, 

0,500090147188155 

0,0, 

= 0, 

<vs> 

1, 

0,512648417980808 

Iteración 

3000 


1,1, 

= 0, 

<vs> 

1, 

0,502467604076654 

1,0, 

= 1, 

<vs> 

0, 

0,485864592786955 

0,1, 

= 1, 

<vs> 

1, 

0,500180334862566 

0,0, 

= 0, 

<vs> 

1, 

0,510368291859718 


El programa muestra la tabla del XOR que se debe aprender 


Valor 

Valor 

Resultado 

esperado 

1 

1 

0 

1 

0 

1 

0 

1 

1 

0 

0 

0 


Luego Imprime "<vs>", el valor aprendido en esa iteración (un valor de 1 o 0) y el valor del número real de la salida. 
Obsérvese que en la iteración 2000 se obtuvo 


Valor 

Valor 

Resultado 

esperado 

Resultado 

Real 


1 

1 

0 

1 

MAL 

1 

0 

1 

0 

MAL 

0 

1 

1 

1 

BIEN 

0 

0 

0 

1 

MAL 


Más adelante en la iteración 8000 se obtuvo 
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■ file///C:/Users/engin/OneDrive/Documentos/Visual Studio 2015/Projects/RedNeuronal3/RedNeuronal3/bin/Debug/RedNeuronal3.EXE — □ X 


0,0, 

= 0, 

<vs> 

0, 

0,0696808131911143 

Iteración 

6000 


1,1, 

= 0, 

<vs> 

0, 

0,0494294737805737 

1,0, 

= 1, 

<vs> 

1, 

0,950987679347104 

0,1, 

= 1, 

<vs> 

1, 

0,951539790643539 

0,0, 

= 0, 

<vs> 

0, 

0,039809107622469 

Iteración 

6500 


1,1, 

= 0, 

<vs> 

0, 

0,0360178432429203 

1,0, 

= 1, 

<vs> 

1, 

0,963648327066316 

0,1, 

= 1, 

<vs> 

1, 

0,964033952863452 

0,0, 

= 0, 

<vs> 

0, 

0,0300597625372217 

Iteración 

7000 


1,1, 

= 0, 

<vs> 

0, 

0,0293050782703677 

1,0, 

= 1, 

<vs> 

1, 

0,970112444339649 

0,1, 

= 1, 

<vs> 

1, 

0,970412978252463 

0,0, 

= 0, 

<vs> 

0, 

0,0249351016175383 

Iteración 

7500 


1,1, 

= 0, 

<vs> 

0, 

0,0251590023147978 

1,0, 

= 1, 

<vs> 

1, 

0,974153110145366 

0,1, 

= 1, 

<vs> 

1, 

0,974401700627316 

0,0, 

= 0, 

<vs> 

0, 

0,0216814654229306 

Iteración 

8000 


1,1, 

= 0, 

<vs> 

0, 

0,0222953382452901 

1,0, 

= 1, 

<vs> 

1, 

0,97696758212523 

0,1, 

= 1, 

<vs> 

1, 

0,977180948597692 

0,0, 

= 0, 

<vs> 

0, 

0,019392535515205 


Valor 

Valor 

Resultado 

esperado 

Resultado 

Real 


1 

1 

0 

0 

BIEN 

1 

0 

1 

1 

BIEN 

0 

1 

1 

1 

BIEN 

0 

0 

0 

0 

BIEN 


En la última columna se muestra el valor real (por ejemplo, 0.019392535515205) que tiene el perceptrón. Esos valores se 
ajustan a 0 o a 1 poniendo el umbral en 0.5, si es mayor de 0.5 entonces se toma como 1 en caso contrario sería 0. Importante: 
Ese ajuste a 0 o a 1 es para mostrarlo al usuario final, el valor real debe conservarse para calcular el error y hacer uso del 
algoritmo de "backpropagation" 
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Reconocimiento de números de un reloj digital 


En la imagen, los números del 0 al 9 construidos usando las barras verticales y horizontales. Típicos de un reloj digital. 

ni r i 

INI 


Se quiere construir una red neuronal tipo perceptrón multicapa que dado ese número al estilo reloj digital se pueda deducir el 
número como tal. Para iniciar se pone un identificador a cada barra 

a 

b c 

d 


e f 

g 

Luego se le da un valor de "1" a la barra que queda en rojo al construir el número y "0" a la barra que queda en azul claro. Por 
ejemplo: 



Los valores de a,b,c,d,e,f,g serían: 1,0,1,1,1,0,1 

Como se debe deducir que es un 2, este valor se convierte a binario IO 2 o 0,0,1,0 (para convertirlo en salida del perceptrón, 
como el máximo valor es 9 y este es 1,0,0,1 entonces el número de salidas es 4) 
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La tabla de entradas y salidas esperadas es: 


Imagen 

Valor de entrada 

Valor de salida esperado 

l 

l 

l 

l i 

1,1,1,0,1,1,1 

0,0,0,0 


l 

l 

0,0,1,0,0,1,0 

0,0,0,1 

l 

— l 

| 

1,0,1,1,1,0,1 

0,0,1,0 


— 1 
| 

1,0,1,1,0,1,1 

0,0,1,1 

l 

1 

1 

0,1,1,1,0,1,0 

0,1,0,0 

l 

r 

i 

1,1,0,1,0,1,1 

0,1,0,1 


1,1,0,1,1,1,1 

0,1,1,0 
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1 

u 

i 




n 
r i 

i 

i 

1 , 0 , 1 , 0 , 0 , 1,0 

0 , 1 , 1,1 

1 

1 

n 

u 

i 

i 

1 , 1 , 1 , 1 , 1 , 1,1 

1 , 0 , 0,0 


u 

i 

1 , 1 , 1 , 1 , 0 , 1,1 

1 , 0 , 0,1 
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El código es el siguiente 


using System; 

namespace NeuroNumero { 

//La clase que implementa el perceptron 
class Perceptron { 

private double[,,] W; //Los pesos serán arreglos multidimensionales. Así: W[capa, neurona inicial, neurona final] 

prívate double[,] U; //Los umbrales de cada neurona serán arreglos bidimensionales. Así: U[capa, neurona que produce la salida] 

double[,] A; //Las salidas de cada neurona serán arreglos bidimensionales. Así: A[capa, neurona que produce la salida] 

private double[,,] WN; //Los nuevos pesos serán arreglos multidimensionales. Así: W[capa, neurona inicial, neurona final] 

private double[,] UN; //Los nuevos umbrales de cada neurona serán arreglos bidimensionales. Así: U[capa, neurona que produce la salida] 

private int TotalCapas; //El total de capas que tendrá el perceptron incluyendo la capa de entrada 
private int[] neuronasporcapa; //Cuantas neuronas habrá en cada capa 
private int TotalEntradas; //Total de entradas externas del perceptron 
private int TotalSalidas; //Total salidas externas del perceptron 

public Perceptron(int TotalEntradas, int TotalSalidas, int TotalCapas, int[] neuronasporcapa) { 
this .TotalEntradas = TotalEntradas; 
this .TotalSalidas = TotalSalidas; 
this .TotalCapas = TotalCapas; 

int maxNeuronas = 0; //Detecta el máximo número de neuronas por capa para dimensionar los arreglos 
this .neuronasporcapa = new int[TotalCapas + 1]; 
for (int capa = 1; capa <= TotalCapas; capa++) { 

this .neuronasporcapa[capa] = neuronasporcapa[capa]; 

if (neuronasporcapa[capa] > maxNeuronas) maxNeuronas = neuronasporcapa[capa]; 

} 


//Dimensiona con el máximo valor 

W = new double[TotalCapas + 1, maxNeuronas + 1, maxNeuronas + 1]; 

U = new double[TotalCapas + 1, maxNeuronas + 1]; 

WN = new double[TotalCapas + 1, maxNeuronas + 1, maxNeuronas + 1]; 
UN = new double[TotalCapas + 1, maxNeuronas + 1]; 

A = new double[TotalCapas + 1, maxNeuronas + 1]; 

//Da valores aleatorios a pesos y umbrales 
Random azar = new Random(); 

for (int capa = 2; capa <= TotalCapas; capa++) 

for (int i = 1; i <= neuronasporcapa[capa]; i++) 

U[capa, i] = azar.NextDouble(); 


} 


for (int capa = 1; capa < TotalCapas; capa++) 

for (int i = 1; i <= neuronasporcapa[capa]; i++) 

for (int j = 1; j <= neuronasporcapa[capa+1]; j++) 
W[capa, i, j] = azar.NextDouble(); 


public void Procesa(double[] E) { 

//Entradas externas del perceptron pasan a la salida de la primera capa 
for (int copia = 1; copia <= TotalEntradas; copia++) A[l, copia] = E[copia]; 


//Proceso del perceptron 

for (int capa = 2; capa <= TotalCapas; capa++) 

for (int neurona = 1; neurona <= neuronasporcapa[capa]; neurona++) { 

A[capa, neurona] = 0; 

for (int entra = 1; entra <= neuronasporcapa[capa - 1]; entra++) 

A[capa, neurona] += A[capa - 1, entra] * W[capa - 1, entra, neurona]; 
A[capa, neurona] += U[capa, neurona]; 

A[capa, neurona] = 1 / (1 + Math .Exp(-A[capa, neurona])); 

} 

} 


// Muestra las entradas externas del perceptron, las salidas esperadas y las salidas reales 
public void Muestra(double[] E, double[] S) { 

for (int cont = 1; cont <= TotalEntradas; cont++) Consolé. Write(E[cont] + ","); Consolé .Write( " = "); 

for (int cont = 1; cont <= TotalSalidas; cont++) Consolé. Write(S[cont] + ","); Consolé. Write(" <vs> "); 

for (int cont = 1; cont <= TotalSalidas; cont++) //Salidas reales del perceptron 

if (A[TotalCapas, cont] > 0.5) //El umbral: Mayor de 0.5 es 1, de lo contrario es cero 
Consolé .Write( "1, ") ; 

else 

Consolé .Write( "0, ") ; 

Consolé. WriteLine(" "); 

} 

//El entrenamiento es ajustar los pesos y umbrales 
public void Entrena(double alpha, double[] E, double[] S) { 

//Ajusta pesos capa3 ==> capa4 

for (int j = 1; j <= neuronasporcapa[3]; j++) 

for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4, i]; 

double dE3 = A[3, j] * (Yi - S[i]) * Yi * (1 - Yi); 

WN[3, j, i] = W[3, j, i] - alpha * dE3; //Nuevo peso se guarda temporalmente 

} 


//Ajusta pesos capa2 ==> capa3 

for (int j = 1; j <= neuronasporcapa[2]; j++) 

for (int k = 1; k <= neuronasporcapa[3]; k++) { 
double acum = 0; 

for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4, i]; 

acum += W[3, k, i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

double dE2 = A[2, j] * A[3, k] * (1 - A[3, k]) * acum; 

WN[2, j, k] = W[2, j, k] - alpha * dE2; //Nuevo peso se guarda temporalmente 
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} 

//Ajusta pesos capal ==> capa2 

for (int j = 1; j <= neuronasporcapa[l]; j++) 

for (int k = 1; k <= neuronasporcapa[2]; k++) { 
double acumular = 0; 

for (int p = 1; p <= neuronasporcapa[3]; p++) { 
double acum = 0; 

for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4, i]; 

acum += W[3, p, i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

acumular += W[2, k, p] * A[3, p] * (1 - A[3, p]) * acum; 

} 

double dEl = E[j] * A[2, k] * (1 - A[2, k]) * acumular; 

WN [ 1, j, k] = W[l, j, k] - alpha * dEl; //Nuevo peso se guarda temporalmente 

} 

//Ajusta umbrales de neuronas de la capa 4 
for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4, i]; 

double dE4 = (Yi - S[i]) * Yi * (1 - Yi); 

UN [4, i] = U[4, i] - alpha * dE4; //Nuevo umbral se guarda temporalmente 

} 

//Ajusta umbrales de neuronas de la capa 3 
for (int k = 1; k <= neuronasporcapa[3]; k++) { 
double acum = 0; 

for (int i = 1; i <= neuronasporcapa[4]; i++) 

{ 

double Yi = A[4, i]; 

acum += W[3, k, i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

double dE3 = A[3, k] * (1 - A[3, k]) * acum; 

UN [ 3, k] = U[3, k] - alpha * dE3; //Nuevo umbral se guarda temporalmente 

} 

//Ajusta umbrales de neuronas de la capa 2 
for (int k = 1; k <= neuronasporcapa[2]; k++) { 
double acumular = 0; 

for (int p = 1; p <= neuronasporcapa[3]; p++) { 
double acum = 0; 

for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4, i]; 

acum += W[3, p, i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

acumular += W[2, k, p] * A[3, p] * (1 - A[3, p]) * acum; 

} 

double dE2 = A[2, k] * (1 - A[2, k]) * acumular; 

UN [ 2, k] = U[2, k] - alpha * dE2; //Nuevo umbral se guarda temporalmente 

} 


//Copia los nuevos pesos y umbrales a los pesos y umbrales respectivos del perceptrón 
for (int capa = 2; capa <= TotalCapas; capa++) 

for (int i = 1; i <= neuronasporcapa[capa]; i++) 

U[capa, i] = UN[capa, i]; 


} 


} 


for (int capa = 1; capa < TotalCapas; capa++) 

for (int i = 1; i <= neuronasporcapa[capa]; i++) 

for (int j = 1; j <= neuronasporcapa[capa + 1]; j++) 
W[capa, i, j] = WN[capa, i, j]; 


class Program { 

static void Main( string[ ] args) 

{ 

int TotalEntradas = 7; //Número de entradas externas del perceptrón 
int TotalSalidas = 4; //Número de salidas externas del perceptrón 
int TotalCapas = 4; //Total capas que tendrá el perceptrón 

int[] neuronasporcapa = new int[TotalCapas + 1]; //Los índices iniciarán en 1 en esta implementación 

neuronasporcapa[l] = TotalEntradas; //Entradas externas del perceptrón 

neuronasporcapa[2] = 4; //Capa oculta con 4 neuronas 

neuronasporcapa[3] = 4; //Capa oculta con 4 neuronas 

neuronasporcapa[4] = TotalSalidas; //Capa de salida con 2 neuronas 


Perceptrón objP = new Perceptron(TotalEntradas, TotalSalidas, TotalCapas, neuronasporcapa); 

/* 

Entero Binario Figura 


0 

0000 

1110111 

1 

0001 

0010010 

2 

0010 

1011101 

3 

0011 

1011011 

4 

0100 

0111010 

5 

0101 

1101011 

6 

0110 

1101111 

7 

0111 

1010010 

8 

1000 

1111111 

9 

1001 

1111011 


*/ 

int ConjuntoEntradas = 10; 

double[][] entraFigura = new double[ConjuntoEntradas + 1][]; 
entraFigura[l] = new double[] { 0, 1, 1, 1, 0, 1, 1, 1 }; 

entraFigura[2] = new double[] { 0, 0, 0, 1, 0, 0, 1, 0 }; 

entraFigura[3] = new double[] { 0, 1, 0, 1, 1, 1, 0, 1 }; 

entraFigura[4] = new double[] { 0, 1, 0, 1, 1, 0, 1, 1 }; 

entraFigura[5] = new double[] { 0, 0, 1, 1, 1, 0, 1, 0 }; 

entraFigura[6] = new double[] { 0, 1, 1, 0, 1, 0, 1, 1 }; 
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entraFigura[7] = new 

double[ ] 

{ 

0, 

1, 

1, 

0, 

1, 

1, 

1, 

i }; 

entraFigura[8] = new 

double[ ] 

{ 

0, 


0, 


0, 

0, 


0 }; 

entraFigura[9] = new 

doublef ] 

{ 

0, 

1, 

1, 

1, 

1, 

1, 

1, 

i }; 


entraFigura[10] = new double[] { 0, 1, 1, 1, 1, 0, 1, 1 }; 

double[][] saleBinario = new double[ConjuntoEntradas + l][]j 
saleBinario[l] = new double[] { 0, 0, 0, 0, 0 }; 

saleBinario[2] = new double[] { 0, 0, 0, 0, 1 }; 

saleBinario[3] = new double[] { 0, 0, 0, 1, 0 }; 

saleBinario[4] = new double[] { 0, 0, 0, 1, 1 }; 

saleBinario[5] = new double[] { 0, 0, 1, 0, 0 }; 

saleBinario[6] = new double[] { 0, 0, 1, 0, 1 }; 

saleBinario[7] = new double[] { 0, 0, 1, 1, 0 }; 

saleBinario[8] = new double[] { 0, 0, 1, 1, 1 }; 

saleBinario[9] = new double[] { 0, 1, 0, 0, 0 }; 

saleBinario[10] = new double[] { 0, 1, 0, 0, 1 }; 

double alpha = 0.4; //Factor de aprendizaje 
for (int ciclo = 1; ciclo <= 8000; ciclo++) { 

if (ciclo % 500 == 0) Consolé. WriteLine("Iteracion: " + ciclo); 

//Importante: Se envía el primer conjunto de entradas-salidas, luego el segundo, tercero y cuarto 
//por cada ciclo de entrenamiento. 

for (int entra = 1; entra <= ConjuntoEntradas; entra++) { 
objP.Procesa(entraFigura[entra]); 

if (ciclo % 500 == 0) objP.Muestra(entraFigura[entra], saleBinario[entra]); 
objP.Entrena(alpha, entraFigura[entra], saleBinario[entra]); 

} 


Consolé .ReadKey(); 

} 

} 

} 


La clase Perceptron no ha variado, sigue siendo la misma que la usada para aprender la tabla XOR (ejemplo anterior). Los 
cambios se dan en la clase principal en los cuales se cambia el número de entradas y salidas, y por supuesto, los valores de 
entrada y las salidas esperadas. 

Esta sería su ejecución 


■ f¡le///C:/Users/engin/onedr¡ve/documentos/visual studio 2015/Projects/NeuroNumero/NeuroNumero/bin/Debug/NeuroNumero.EXE 

— 

□ 

X 

Iteración: 500 







A 

1,1,1,0,1,1,1, 

= 

0,0,0,0, 

<vs> 

0,0,0,0, 




0,0,1,0,0,1,0, 

= 

0,0,0,1, 

<vs> 

0,0,0,1, 




1,0,1,1,1,0,1, 

= 

0,0,1,0, 

<vs> 

0,0,0,0, 




1,0,1,1,0,1,1, 

= 

0,0,1,1, 

<vs> 

0,0,1,1, 




0,1,1,1,0,1,0, 

= 

0,1,0,0, 

<vs> 

0,0,0,0, 




1,1,0,1,0,1,1, 

= 

0,1,0,1, 

<vs> 

0,0,0,1, 




1,1,0,1,1,1,1, 

= 

0,1,1,0, 

<vs> 

0,0,0,0, 




1,0,1,0,0,1,0, 

= 

0,1,1,1, 

<vs> 

0,0,1,1, 




1,1,1,1,1,1,1, 

= 

1,0,0,0, 

<vs> 

0,0,0,0, 




1,1,1,1,0,1,1, 

= 

1,0,0,1, 

<vs> 

0,0,0,1, 




Iteración: 1000 







1,1,1,0,1,1,1, 

= 

0,0,0,0, 

<vs> 

0,0,0,0, 




0,0,1,0,0,1,0, 

= 

0,0,0,1, 

<vs> 

0,0,0,1, 




1,0,1,1,1,0,1, 

= 

0,0,1,0, 

<vs> 

0,0,1,0, 




1,0,1,1,0,1,1, 

= 

0,0,1,1, 

<vs> 

0,0,1,1, 




0,1,1,1,0,1,0, 

= 

0,1,0,0, 

<vs> 

0,1,0,0, 




1,1,0,1,0,1,1, 

= 

0,1,0,1, 

<vs> 

0,1,0,1, 




1,1,0,1,1,1,1, 

= 

0,1,1,0, 

<vs> 

0,1,0,0, 




1,0,1,0,0,1,0, 

= 

0,1,1,1, 

<vs> 

0,1,1,1, 




1,1,1,1,1,1,1, 

= 

1,0,0,0, 

<vs> 

0,0,0,0, 




1,1,1,1,0,1,1, 

= 

1,0,0,1, 

<vs> 

0,0,0,1, 




Iteración: 1500 







1,1,1,0,1,1,1, 

= 

0,0,0,0, 

<vs> 

0,0,0,0, 




0,0,1,0,0,1,0, 

= 

0,0,0,1, 

<vs> 

0,0,0,1, 




1,0,1,1,1,0,1, 

= 

0,0,1,0, 

<vs> 

0,0,1,0, 




1,0,1,1,0,1,1, 

= 

0,0,1,1, 

<vs> 

0,0,1,1, 




0,1,1,1,0,1,0, 

= 

0,1,0,0, 

<vs> 

0,1,0,0, 




1,1,0,1,0,1,1, 

= 

0,1,0,1, 

<vs> 

0,1,0,1, 




1,1,0,1,1,1,1, 

= 

0,1,1,0, 

<vs> 

0,1,0,0, 



V 


En la iteración 500, comienza a notarse que la red neuronal está aprendiendo el patrón. Requiere más iteraciones 


Rafael Alberto Moreno Parra 


79 





■ f¡le///C:/Users/engin/onedrive/documentos/visual studio 2015/Projects/NeuroNumero/NeuroNumero/bin/Debug/NeuroNumero.EXE 

— 

□ 

X 

1,1,0,1,0,1,1, 

= 

0,1,0,1, 

<vs> 

0,1,0,1, 



A 

1,1,0,1,1,1,1, 

= 

0,1,1,0, 

<vs> 

0,1,1,0, 




1,0,1,0,0,1,0, 

= 

0,1,1,1, 

<vs> 

0,1,1,1, 




1,1,1,1,1,1,1, 

= 

1,0,0,0, 

<vs> 

1,0,0,0, 




1,1,1,1,0,1,1, 

= 

1,0,0,1, 

<vs> 

1,0,0,1, 




Iteración: 7500 







1,1,1,0,1,1,1, 

= 

0,0,0,0, 

<vs> 

0,0,0,0, 




0,0,1,0,0,1,0, 

= 

0,0,0,1, 

<vs> 

0,0,0,1, 




1,0,1,1,1,0,1, 

= 

0,0,1,0, 

<vs> 

0,0,1,0, 




1,0,1,1,0,1,1, 

= 

0,0,1,1, 

<vs> 

0,0,1,1, 




0,1,1,1,0,1,0, 

= 

0,1,0,0, 

<vs> 

0,1,0,0, 




1,1,0,1,0,1,1, 

= 

0,1,0,1, 

<vs> 

0,1,0,1, 




1,1,0,1,1,1,1, 

= 

0,1,1,0, 

<vs> 

0,1,1,0, 




1,0,1,0,0,1,0, 

= 

0,1,1,1, 

<vs> 

0,1,1,1, 




1,1,1,1,1,1,1, 

= 

1,0,0,0, 

<vs> 

1,0,0,0, 




1,1,1,1,0,1,1, 

= 

1,0,0,1, 

<vs> 

1,0,0,1, 




Iteración: 8000 







1,1,1,0,1,1,1, 

= 

0,0,0,0, 

<vs> 

0,0,0,0, 




0,0,1,0,0,1,0, 

= 

0,0,0,1, 

<vs> 

0,0,0,1, 




1,0,1,1,1,0,1, 

= 

0,0,1,0, 

<vs> 

0,0,1,0, 




1,0,1,1,0,1,1, 

= 

0,0,1,1, 

<vs> 

0,0,1,1, 




0,1,1,1,0,1,0, 

= 

0,1,0,0, 

<vs> 

0,1,0,0, 




1,1,0,1,0,1,1, 

= 

0,1,0,1, 

<vs> 

0,1,0,1, 




1,1,0,1,1,1,1, 

= 

0,1,1,0, 

<vs> 

0,1,1,0, 




1,0,1,0,0,1,0, 

= 

0,1,1,1, 

<vs> 

0,1,1,1, 




1,1,1,1,1,1,1, 

= 

1,0,0,0, 

<vs> 

1,0,0,0, 




1,1,1,1,0,1,1, 


1,0,0,1, 

<vs> 

1,0,0,1, 



V 


En la iteración 7500 ya se observa que la red está entrenada completamente para reconocer los números. Solo faltaría 
implementar que se detenga el entrenamiento cuando la red neuronal ofrezca las salidas esperadas y así evitar iteraciones de 
más. 
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Detección de patrones en series de tiempo 


En los dos ejemplos anteriores, los valores de las entradas externas del perceptrón fueron 0 o 1. Pero no está limitado a eso, 
las entradas externas pueden tener valores entre 0 y 1 (incluyendo el 0 y el 1) por ejemplo: 0.7321, 0.21896, 0.9173418 

El problema que se plantea es dado el comportamiento de un evento en el tiempo, ¿podrá la red neuronal deducir el patrón? 

Ejemplo: Tenemos esta tabla 


X 

Y 

0 

0 

5 

0,43577871 

10 

1,73648178 

15 

3,88228568 

20 

6,84040287 

25 

10,5654565 

30 

15 

35 

20,0751753 

40 

25,7115044 

45 

31,8198052 

50 

38,3022222 

55 

45,0533624 

60 

51,9615242 

65 

58,9100062 

70 

65,7784835 

75 

72,444437 

80 

78,7846202 

85 

84,6765493 

90 

90 

95 

94,6384963 

100 

98,4807753 


X es la variable independiente y Y es la variable dependiente, en otras palabras y=f(x). El problema es que no sabemos f( ), 
sólo tenemos los datos (por motivos prácticos se muestra la tabla con X llegando hasta 100, realmente llega hasta 1800). Esta 
sería la gráfica. 



Uniendo los puntos, se obtendría 
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Los datos están en un archivo plano 


Qf C:\Users\engin\OneDrive\DocumentosWisualStudio2015\Projects\DetectaPatron\DetectaPatron\bin\Debug\da... — □ X 

Archivo 

Editar 

Buscar 

Vista Codificación Lenguaje Configuración 

Macro 

Ejecutar Plugins Ventana ? X 

Q (3a 1 M ® 


& 1 * % n 1 ? C\ áá | A * 1 


En TI 

J datos .tendencia 

□ 




1 



A 

2 

X 

• 

r 

y 



3 

0 

• 

r 

0 



4 

5 

• 

r 

0,435778714 



5 

10 

• 

r 

1,736481777 



6 

15 

• 

r 

3,882285677 



7 

20 

• 

r 

6,840402867 



8 

25 

• 

r 

10,56545654 



9 

30 

• 

/ 

15 



10 

35 

• 

r 

20,07517527 



11 

40 

% 

r 

25,71150439 



12 

45 

• 

r 

31,81980515 



13 

50 

• 

r 

38,30222216 



14 

55 

m 

f 

45,05336244 



15 

60 

• 

r 

51,96152423 



16 

65 

• 

r 

58,91000616 



17 

70 

• 

r 

65,77848346 



18 

75 

• 

r 

72,44443697 



19 

80 

• 

r 

78,78462024 



20 

85 

• 

r 

84,67654934 



21 

90 

• 

f 

90 



22 

95 

• 

í 

94,63849632 



23 

100 

• 

r 

98,4807753 


V 

Norm length : 681^ 

lines : 

363 Ln : 1 Col : 1 Sel : 0 1 0 


Dos\W¡ndows UTF-8 w/o BOM INS 
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El primer paso es convertir los valores de X y de Y que se leen del archivo plano, en valores entre 0 y 1 (porque esa es la 

1 

limitante del perceptrón multicapa). La razón de eso es que la función de activación del perceptrón multicapa y — 


1+e 


-x 


solo genera números entre 0 y 1. 

Se hace entonces una normalización usando la siguiente fórmula 


X- 


normalizado 


Xoriginal MÍYLÍTTLoX 

MaximoX — MinimoX 


Y 


normalizado 


^original MÍTlilTloY 
MaximoY — MinimoY 


Como indica la fórmula, habría que recorrer todos los datos de X y Y para deducir el mayor valor de X, menor valor de X, mayor 
valor de Y y menor valor de Y. 


357 

1775 

-750,147415 

358 

1780 

-608,795855 

359 

1785 

-461,991996 

360 

1790 

-310,830238 

361 

1795 

-156,444558 

362 

1800 

-2,2053 E-12 

363 



364 

Mínimo X 

MinimoY 

365 

0 

-1710 

366 



367 

Máximo X 

Máximo Y 

368 

1800 

1530 

369 



370 




355 

1765 

-1012,36241 

356 

1770 

-885 

357 

1775 

-750,147415 

358 

1780 

-608,795855 

359 

1785 

-461,991996 

360 

1790 

-310,830238 

361 

1795 

-156,444558 

362 

363 

1800 

-2,2053E-12 



364 

Mínimo X 

MinimoY 

365 

366 

=MIN(A2:A362)| 



367 

Máximo X 

Máximo Y 

368 

1800 

1530 

369 




354 

1760 

-1131,30619 

355 

1765 

-1012,36241 

356 

1770 

-885 

357 

1775 

-750,147415 

358 

1780 

-608,795855 

359 

1785 

-461,991996 

360 

1790 

-310,830238 

361 

1795 

-156,444558 

362 

1800 

-2,2053E-12 

363 



364 

Minimo X 

MinimoY 

365 

0 

-1710 

366 



367 

Máximo X 

Máximo Y 

368 

=MAX( 


3fiQ 



358 

1780 

-608,795855 


359 

1785 

-461,991996 


360 

1790 

-310,830238 


361 

1795 

-156,444558 


362 

1800 

-2,2053E-12 


363 




364 

Mínimo X 

MinimoY 


365 

0 

-1710 


366 




367 

Máximo X 

Máximo Y 


368 

1800 

=MAX( )| 

369 





vrn I 


Se aplica la fórmula 




C2 

f X =(A2-$A$365}/($A$368-$A$365) 

SUMA 

1 [X 

y' fx =(B2-$B$365)/($B$368-$B$365) 


A 

B 

C 

D 



A 

B 

c 

D 


1 

Xreal 

Yreal 

Xnormalízado 

Ynormalizado 


1 

Xreal 

Yreal 

Xnormalízado 

Ynormalizado 


2 

o 

0 

0 ¡ 

0,527777778 


o 1 

0 

0 

=( E :-$BS365)/($B$368-$B$365)| 

3 

5 

0,4357787 

0,002777778 

0,527912277 

3 

5 

0,4357787 

0,002777778 

0,527912277 


4 

10 

1,7364818 

0,005555556 

0,528313729 


4 

10 

1,7364818 

0,005555556 

0,528313729 


5 

15 

3,8822857 

0,008333333 

0,528976014 


5 

15 

3,8822857 

0,008333333 

0,528976014 


6 

20 

6,8404029 

0,011111111 

0,529889013 


6 

20 

6,8404029 

0,011111111 

0,529889013 


7 

25 

10,565457 

0,013888889 

0,531038721 


7 

25 

10,565457 

0,013888889 

0,531038721 
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Se realiza la gráfica con los valores normalizados (datos entre 0 y 1 tanto en X como en Y) 



Con esos datos normalizados, se alimenta la red neuronal para entrenarla. Una vez termine el entrenamiento se procede a 
"desnormalizar" los resultados. A continuación el código completo: 
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using System; 

namespace DetectaPatron { 

//La clase que implementa el perceptrón 
class Perceptrón { 

private double[,,] W; //Los pesos serán arreglos multidimensionales. Así: W[capa, neurona inicial, neurona final] 

prívate double[,] U; //Los umbrales de cada neurona serán arreglos bidimensionales. Así: U[capa, neurona que produce la salida] 

double[,] A; //Las salidas de cada neurona serán arreglos bidimensionales. Así: A[capa, neurona que produce la salida] 

private double[,,] WN; //Los nuevos pesos serán arreglos multidimensionales. Así: W[capa, neurona inicial, neurona final] 

private double[,] UN; //Los nuevos umbrales de cada neurona serán arreglos bidimensionales. Así: U[capa, neurona que produce la salida] 

private int TotalCapas; //El total de capas que tendrá el perceptrón incluyendo la capa de entrada 
private int[] neuronasporcapa; //Cuantas neuronas habrá en cada capa 
private int TotalEntradas; //Total de entradas externas del perceptrón 
private int TotalSalidas; //Total salidas externas del perceptrón 

public Perceptron(int TotalEntradas, int TotalSalidas, int TotalCapas, int[] neuronasporcapa) { 
this .TotalEntradas = TotalEntradas; 
this .TotalSalidas = TotalSalidas; 
this .TotalCapas = TotalCapas; 

int maxNeuronas = 0; //Detecta el máximo número de neuronas por capa para dimensionar los arreglos 
this .neuronasporcapa = new int[TotalCapas + 1]; 
for (int capa = 1; capa <= TotalCapas; capa++) { 

this .neuronasporcapa[capa] = neuronasporcapa[capa]; 

if (neuronasporcapa[capa] > maxNeuronas) maxNeuronas = neuronasporcapa[capa]; 

} 

//Dimensiona con el máximo valor 

W = new double[TotalCapas + 1, maxNeuronas + 1, maxNeuronas + 1]; 

U = new double[TotalCapas + 1, maxNeuronas + 1]; 

WN = new double[TotalCapas + 1, maxNeuronas + 1, maxNeuronas + 1]; 

UN = new double[TotalCapas + 1, maxNeuronas + 1]; 

A = new double[TotalCapas + 1, maxNeuronas + 1]; 


//Da valores aleatorios a pesos y umbrales 
Random azar = new RandomQ; 

for (int capa = 2; capa <= TotalCapas; capa++) 

for (int i = 1; i <= neuronasporcapa[capa]; i++) 
U[capa, i] = azar.NextDouble(); 


} 


for (int capa = 1; capa < TotalCapas; capa++) 

for (int i = 1; i <= neuronasporcapa[capa]; i++) 

for (int j = 1; j <= neuronasporcapa[capa + 1]; j++) 
W[capa, i, j] = azar.NextDouble(); 


public void Procesa(double[] E) { 

//Entradas externas del perceptrón pasan a la salida de la primera capa 
for (int copia = 1; copia <= TotalEntradas; copia++) A[l, copia] = E[copia]; 


//Proceso del perceptrón 

for (int capa = 2; capa <= TotalCapas; capa++) 

for (int neurona = 1; neurona <= neuronasporcapa[capa]; neurona++) { 

A[capa, neurona] = 0; 

for (int entra = 1; entra <= neuronasporcapa[capa - 1]; entra++) 

A[capa, neurona] += A[capa - 1, entra] * W[capa - 1, entra, neurona]; 
A[capa, neurona] += U[capa, neurona]; 

A[capa, neurona] = 1 / (1 + Math .Exp(-A[capa, neurona])); 

} 

} 


// Muestra las entradas externas del perceptrón, las salidas esperadas y las salidas reales 
public void Muestra(double[] E, double[] S, double minimoX, double maximoX, double minimoY, double maximoY) { 
//Consolé.Write(E[l]*(maximoX- minimoX)+minimoX); Consolé.Write(" ===> "); 

//Consolé.Write(S[l]*(maximoY- minimoY)+minimoY); Consolé.Write(" <vs> "); 

Consolé. WriteLine(A[TotalCapas, l]*(maximoY- minimoY)+minimoY); //Salidas reales del perceptrón 

} 

//El entrenamiento es ajustar los pesos y umbrales 
public void Entrena(double alpha, double[] E, double[] S) { 

//Ajusta pesos capa3 ==> capa4 

for (int j = 1; j <= neuronasporcapa[3]; j++) 

for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4, i]; 

double dE3 = A[3, j] * (Yi - S[i]) * Yi * (1 - Yi); 

WN[3, j, i] = W[3, j, i] - alpha * dE3; //Nuevo peso se guarda temporalmente 

} 


//Ajusta pesos capa2 ==> capa3 

for (int j = 1; j <= neuronasporcapa[2]; j++) 

for (int k = 1; k <= neuronasporcapa[3]; k++) { 
double acum = 0; 

for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4, i]; 

acum += W[3, k, i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

double dE2 = A[2, j] * A[3, k] * (1 - A[3, k]) * acum; 

WN[2, j, k] = W[2, j, k] - alpha * dE2; //Nuevo peso se guarda temporalmente 


//Ajusta pesos capal ==> capa2 

for (int j = 1; j <= neuronasporcapa[l]; j++) 

for (int k = 1; k <= neuronasporcapa[2]; k++) { 
double acumular = 0; 

for (int p = 1; p <= neuronasporcapa[3]; p++) { 
double acum = 0; 

for (int i = 1; i <= neuronasporcapa[4]; i++) { 
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double Yi = A[4, i]; 

acum += W[3, p, i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

acumular += W[2, k, p] * A[3, p] * (1 - A[3, p]) * acum; 

} 

double dEl = E[j] * A[2, k] * (1 - A[2, k]) * acumular; 

WN [ 1, j, k] = W[l, j, k] - alpha * dEl; //Nuevo peso se guarda temporalmente 

} 

//Ajusta umbrales de neuronas de la capa 4 
for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4, i]; 

double dE4 = (Yi - S[i]) * Yi * (1 - Yi); 

UN [4, i] = U[4, i] - alpha * dE4; //Nuevo umbral se guarda temporalmente 


//Ajusta umbrales de neuronas de la capa 3 
for (int k = 1; k <= neuronasporcapa[3]; k++) { 
double acum = 0; 

for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4, i]; 

acum += W[3, k, i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

double dE3 = A[3, k] * (1 - A[3, k]) * acum; 

UN [ 3, k] = U[3, k] - alpha * dE3; //Nuevo umbral se guarda temporalmente 

} 

//Ajusta umbrales de neuronas de la capa 2 
for (int k = 1; k <= neuronasporcapa[2]; k++) { 
double acumular = 0; 

for (int p = 1; p <= neuronasporcapa[3]; p++) { 
double acum = 0; 

for (int i = 1; i <= neuronasporcapa[4]; i++) { 
double Yi = A[4, i]; 

acum += W[3, p, i] * (Yi - S[i]) * Yi * (1 - Yi); 

} 

acumular += W[2, k, p] * A[3, p] * (1 - A[3, p]) * acum; 

} 

double dE2 = A[2, k] * (1 - A[2, k]) * acumular; 

UN [ 2, k] = U[2, k] - alpha * dE2; //Nuevo umbral se guarda temporalmente 

} 


//Copia los nuevos pesos y umbrales a los pesos y umbrales respectivos del perceptrón 
for (int capa = 2; capa <= TotalCapas; capa++) 

for (int i = 1; i <= neuronasporcapa[capa]; i++) 

U[capa, i] = UN[capa, i]; 


} 


} 


for (int capa = 1; capa < TotalCapas; capa++) 

for (int i = 1; i <= neuronasporcapa[capa]; i++) 

for (int j = 1; j <= neuronasporcapa[capa + 1]; j++) 
W[capa, i, j] = WN[capa, i, j]; 


class Program { 

static void Main( string[ ] args) { 

int TotalEntradas = 1; //Número de entradas externas del perceptrón 
int TotalSalidas = 1; //Número de salidas externas del perceptrón 
int TotalCapas = 4; //Total capas que tendrá el perceptrón 

int[] neuronasporcapa = new int[TotalCapas + 1]; //Los índices iniciarán en 1 en esta implementación 

neuronasporcapa[l] = TotalEntradas; //Entradas externas del perceptrón 

neuronasporcapa[2] = 8; //Capa oculta con 8 neuronas 

neuronasporcapa[3] = 8; //Capa oculta con 8 neuronas 

neuronasporcapa[4] = TotalSalidas; //Capa de salida con 1 neurona 


Perceptrón objP = new Perceptron(TotalEntradas, TotalSalidas, TotalCapas, neuronasporcapa); 


//Lee los datos de un archivo plano 
int MaximosRegistros = 2000; 

double[][] entrada = new double[MaximosRegistros + 1][]; 
double[][] salidas = new double[MaximosRegistros + 1][]; 
const string urlArchivo = "datos.tendencia"; 

int ConjuntoEntradas = LeeDatosArchivo(urlArchivo, entrada, salidas); 


//Normaliza los valores entre 0 y 1 que es lo que requiere el perceptrón 
double minimoX = entrada[l][1], maximoX = entrada[l][1]; 
double minimoY = salidas[l][1], maximoY = salidas[1][1]; 
for (int cont = 1; cont <= ConjuntoEntradas; cont++) { 

if (entrada[cont][1] > maximoX) maximoX = entrada[cont][1]; 

if (salidas[cont][1] > maximoY) maximoY = salidas[cont][1]; 

if (entrada[cont][1] < minimoX) minimoX = entrada[cont][1]; 

if (salidas[cont][1] < minimoY) minimoY = salidas[cont][1]; 

} 

for (int cont = 1; cont <= ConjuntoEntradas; cont++) { 

entrada[cont][1] = (entrada[cont][1] - minimoX) / (maximoX - minimoX); 
salidas[cont][1] = (salidas[cont][1] - minimoY) / (maximoY - minimoY); 

} 


//Inicia el proceso de la red neuronal 
double alpha = 0.4; //Factor de aprendizaje 
for (int época = 1; época <= 64000; epoca++) { 

if (época % 4000 == 0) Consolé .WriteLine( "Iteración: " + época); 

//Importante: Se envía el primer conjunto de entradas-salidas, luego el segundo, tercero y cuarto 
//por cada ciclo de entrenamiento. 

for (int entra = 1; entra <= ConjuntoEntradas; entra++) { 
objP.Procesa(entrada[entra]); 

objP.Entrena(alpha, entrada[entra], salidas[entra]); 

} 
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} 

//Muestra el resultado 

for (int entra = 1; entra <= ConjuntoEntradas; entra++) { 
objP.Procesa(entrada[entra]); 

objP.Muestra(entrada[entra], salidas[entra], minimoX, maximoX, minimoY, maximoY); 

} 

Consolé .ReadKey(); 

} 

private static int LeeDatosArchivo(string urlArchivo, double[][] entrada, double[][] salida) { 
var archivo = new System.10. StreamReader (urlArchivo); 
archivo.ReadLine(); //La línea de simple serie 

archivo.ReadLine(); //La línea de título de cada columna de datos 
string leelinea; 

int limValores = 0; 

while ((leelinea = archivo.ReadLineQ) != nuil) { 
limValores++; 

double valX = TraerNumeroCadena(leelinea, ' 1); 
double valY = TraerNumeroCadena(leelinea, ' ;', 2); 
entrada[limValores] = new double[] { 0, valX }; 
salida[limValores] = new double[] { 0, valY }; 

} 

archivo.Close(); 
return limValores; 

} 

//Dada una cadena con separaciones por delimitador, trae determinado ítem 
private static double TraerNumeroCadena(string linea, char delimitador, int numeroToken) { 
string numero = 
int numTrae = 0; 
foreach (char t in linea) { 
if (t != delimitador) 
numero = numero + t; 
else { 

numTrae = numTrae + 1; 
if (numTrae == numeroToken) { 
numero = numero.Trim(); 
if (numero == "") return 0; 
return Convert.ToDouble(numero); 

} 

numero = 

} 

} 

numero = numero.Trim(); 
if (numero == "") return 0; 
return Convert.ToDouble(numero); 

} 

} 

} 


Ejemplo de ejecución 


■ file///C:/Users/eng¡n/onedr¡ve/documentos/visual studio 2015/Projects/DetectaPatron/DetectaPatron/bin/Debug/DetectaPatron.EXE 


□ X 


Iteración: 4000 
Iteración: 8000 
Iteración: 12000 
Iteración: 16000 
Iteración: 20000 
Iteración: 24000 
Iteración: 28000 
Iteración: 32000 
Iteración: 36000 
Iteración: 40000 
Iteración: 44000 
Iteración: 48000 
Iteración: 52000 
Iteración: 56000 
Iteración: 60000 
Iteración: 64000 
-259,557168481454 
-259,556936534444 
-259,556679694628 
-259,55639491942 
-259,556078722451 
-259,555727097332 
-259,555335426557 
-259,554898372106 
-259,554409743977 
-259,553862341341 
-259,553247760414 
-259,552556161006 
-259,551775982184 
-259,550893594705 


* 


v 
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Llevando el resultado numérico al gráfico original, en azul los datos esperados, en naranja lo aprendido por la red neuronal. 



Este proceso es lento, inclusive en un Intel Core ¡7. Puede acelerarse disminuyendo el número de neuronas en las capas ocultas 
a 5 (en ambas), mejorará la velocidad, pero bajará la precisión del ajuste en curva. 
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Parte matemática 

Redes Neuronales: Fácil y desde cero. 

Autor: Javier García 

https://www.voutube.com/watch?v=iaEIv E29sk&list=PLAnA8FVrBI8AWkZmbswwWiF8a 52dQ3JQ 
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